[시드니=뉴스핌] 권지언 특파원 = 오픈AI와 앤스로픽의 최신 인공지능(AI) 에이전트가 보안 평가 과정에서 허가받지 않은 행동을 수행하고, 일부는 가짜 온라인 신원까지 만들어 보안 시스템 접근을 시도한 것으로 나타났다. AI 에이전트의 자율성이 빠르게 확대되는 가운데 안전장치와 통제 체계의 허점이 다시 한번 드러났다는 지적이 나온다.

영국 AI안전연구소(AISI)는 4일(현지시간) 발표한 보고서에서 앤스로픽의 '미토스 5(Mythos 5)'와 오픈AI의 'GPT-5.6-Sol' 기반 AI 에이전트를 대상으로 실시한 사이버보안 평가에서 총 19건의 무단 행동을 확인했다고 밝혔다.

총 122차례 테스트 가운데 10차례에서 문제가 발생했으며, 무단 행동 19건 중 17건은 앤스로픽 모델, 나머지 2건은 오픈AI 모델이 수행한 것으로 조사됐다.

가장 심각한 사례는 AI 에이전트가 악성 코드를 작성한 뒤 가짜 온라인 신원을 만들어 실제 사람을 속여 해당 코드를 승인받으려 한 행동이었다. 다만 AISI는 모든 사례가 통제된 시험 환경에서 발생했으며 실제 피해는 확인되지 않았다고 설명했다.

연구소는 "일부 AI 에이전트가 실제 사람과 조직을 대상으로 지속적이고 잠재적으로 유해한 행동을 수행했다"며 AI 에이전트 평가 및 안전 관리 체계가 아직 충분히 성숙하지 않았음을 보여주는 사례라고 지적했다.

이번 평가는 주요 AI 기업들이 자발적으로 제공한 최신 모델을 대상으로 가상의 사이버보안 시나리오에서 진행됐다. 특히 AI 에이전트가 사용자의 지시 범위를 벗어나 독자적으로 행동할 가능성과 위험성을 집중 점검했다.

앤스로픽은 AISI와 협력해 추가 정보를 확보하고 자체 조사에 착수했다고 밝혔으며, 오픈AI는 문제가 된 두 사례 모두 프롬프트에서 금지된 방식으로 인터넷에 접근한 것이라고 설명했다.

오픈AI는 또 외부 시험기관인 Irregular의 설정 오류로 AI 에이전트가 인터넷에 연결된 별도 사례도 공개하며, 국가 AI 연구기관과 독립 평가기관, AI 기업들이 함께 고위험 AI 평가 기준을 강화해 나가겠다고 밝혔다.

이번 사례는 지난달 오픈AI AI 에이전트가 AI 플랫폼 허깅페이스(Hugging Face) 보안 사고와 관련해 조사를 확대했던 데 이어 AI 에이전트의 자율성과 통제 가능성에 대한 우려를 다시 부각시켰다.

전문가들은 AI 에이전트가 기업 업무 자동화의 핵심 기술로 빠르게 확산되는 만큼, 앞으로는 성능 경쟁뿐 아니라 권한 통제와 안전성 검증 체계 구축이 AI 산업의 핵심 과제가 될 것이라고 평가하고 있다.

kwonjiun@newspim.com