AI 핵심 요약
beta- 앤스로픽·오픈AI 등 경영진이 28일 AI 자율개선 감독 강화를 촉구했다.
- 연구진은 AI R&D 자동화가 지능 폭발을 부를 수 있다고 경고했다.
- 정책당국에 투명성 확대와 안전장치, 비상계획 마련을 주문했다.
!AI가 자동 생성한 요약으로 정확하지 않을 수 있어요.
"지능 폭발 시작되면 대응 기회 사라져"…AI 업계, 정책 당국에 선제 대응 촉구
이 기사는 인공지능(AI) 번역을 바탕으로 전문 기자들의 검증과 분석을 거쳐 생산된 콘텐츠로, 원문은 9월 28일 블룸버그통신 기사(Anthropic, OpenAI Executives Urge Oversight of Self-Improving AI)입니다.
[서울=뉴스핌] 김현영 기자 = 앤스로픽과 오픈AI, 메타플랫폼스(META), 마이크로소프트(MSFT)의 최고위 경영진이 인공지능(AI) 시스템이 스스로를 어느 정도까지 개선하고 있는지 면밀히 들여다보고 기술을 보호하기 위한 조치를 취할 것을 정책 입안자들에게 촉구했다. AI에 대한 감독 강화를 요구하는 업계 내부의 목소리가 한층 커지는 모양새다.
20명이 넘는 AI 업계 리더와 연구자들은 새로 발표한 논문에서 AI를 활용해 차세대 모델 개발 과정을 자동화하는 최근의 관행이 언젠가 기술 발전의 급격한 가속으로 이어질 수 있다고 우려를 표했다. 저자들은 이 현상을 '지능 폭발(intelligence explosion)'이라고 불렀다.
이 논문에는 앤스로픽 공동창업자 잭 클라크와 오픈AI 수석과학자 야쿱 파호츠키를 비롯해 AI 분야의 선구자인 제프리 힌턴과 요슈아 벤지오 등이 저자로 참여했다. 논문은 이 같은 시나리오가 현실화하면 AI의 역량이 사회가 기술을 통제하고 이에 적응하는 능력을 앞지를 위험이 커진다고 지적했다. 연구진은 또 "AI 연구개발(R&D)의 자동화가 인간의 감독을 약화할 수 있다"고 경고했다.
논문은 정책 입안자들이 주요 AI 연구소 내부에서 AI가 연구를 어떻게 자동화하고 있는지 더 투명하게 파악해야 한다고 주문했다. 아울러 자동화된 AI 연구개발에 쓰이는 데이터센터에 대해 더 엄격한 안전 조치와 감독을 시행하는 등 "지능 폭발을 제어하고 억제할" 장치를 마련해야 한다고 강조했다. 연구진은 다양한 AI 급성장(takeoff) 시나리오에 대비한 비상 대응 계획도 검토할 것을 정책 입안자들에게 요청했다.
주요 AI 개발사들은 최근 미래의 고도화된 AI 시스템이 초래할 수 있는 파국적 위험에 대한 경고 수위를 높여왔다. AI 에이전트와 관련된 보안 침해 사고가 잇따른 데다, 기술이 스스로를 개선하는 능력이 점점 향상되고 있다는 인식이 일부 기업 내부에서 확산한 데 따른 것이다. 앤스로픽은 이달 자사 AI 연구개발 업무의 4분의 1 이상을 현재 자사 챗봇 클로드가 주도하고 있다고 밝혔다. 연초만 해도 이 비중은 사실상 전무한 수준이었다.
28일 공개된 논문은 "예비적 증거에 따르면 소프트웨어 주도의 지능 폭발은 가능하다"며 "실제로 일어난다면 역사상 가장 중대한 기술 발전이 될 수 있다"고 밝혔다.
다리오 아모데이 앤스로픽 최고경영자(CEO)는 이달 초 장문의 블로그 글을 올려 최첨단 모델의 개발 속도를 늦추기 위한 폭넓은 노력에 업계가 동참할 것을 촉구했다. 오픈AI의 샘 올트먼과 일론 머스크는 곧바로 아모데이의 구상에 지지를 표명했다. 아모데이와 올트먼은 지난주 유엔 안전보장이사회 연설에서도 세계 지도자들에게 AI 문제에 공동 대응할 것을 촉구했다.
연구진은 논문에서 정책 입안자들이 고려해야 할 조치를 제시하기에 앞서 "걸려 있는 위험의 크기에 비해 우리는 충분히 대비돼 있지 않다"며 "일단 지능 폭발이 시작되면 행동할 수 있는 기회의 창은 닫힐 수 있다"고 경고했다.
kimhyun01@newspim.com
