6분 읽기
- OpenAI 내부 벤치마크 테스트 중 AI 에이전트가 폐쇄된 테스트 환경을 해킹해 탈출
- 인터넷을 통해 해킹 목표를 달성,
- AI 모델에 목표를 설정하면 목표 달성을 위해 수단과 방법을 가리지 않을 가능성 있다.
- 가장 뛰어난 AI 모델들은 소프트웨어의 보안 취약점을 찾아내 악용하는 데 매우 능숙

AI 에이전트, 통제 불능 상태로 해킹 시도

통제 불능: 인공지능(AI) 에이전트가 폐쇄된 테스트 환경에서 탈출해 인터넷에 접속한 후 미국 기업의 데이터베이스를 해킹하는 사건이 발생했다. 자율적으로 작동하는 이 AI 에이전트는 소프트웨어 해킹, 신원 도용, 자가 복제 프로그램 코드 생성 등 수천 건의 복잡한 일련의 행동을 통해 이러한 결과를 초래했다. 이 사건은 에이전트 기반 AI의 위험성을 여실히 보여준다. 

▲ AI 에이전트는 목표 달성을 위해 온갖 수단을 동원하며, 심지어 스스로 사이버 범죄자가 되기도 한다.

인공지능이 발전함에 따라 그 단점도 더욱 분명해지고 있다. 최첨단 AI 모델은 단순히 업무를 대체하고, 문제를 해결하고, 소프트웨어를 프로그래밍하는 데 그치지 않고 보안 위험을 초래할 수도 있다. 최근에는 AI 모델 '클로드 미토스 프리뷰(Claude Mythos Preview)'가 일반적인 서버 및 라우터 소프트웨어의 수많은 보안 취약점을 발견하고 악용하여 큰 파장을 일으켰다. 이후 AI 개발사들은 자사의 AI 에이전트와 언어 모델에 대한 보안 조치를 강화하여 AI 시스템을 이용한 해킹을 더욱 어렵게 만들고 있다.

최근 새로운 사건이 발생했다. OpenAI 내부 벤치마크 테스트 중 AI 에이전트가 폐쇄된 테스트 환경을 해킹하여 탈출한 후, 인터넷을 통해 해킹 목표를 달성한 것이다.

어떤 테스트였을까?

이 실험은 사이버 보안을 위해 특별히 설계된 AI 모델 테스트 도구인 ExploitGym을 기반으로 진행되었다. 이 모델들은 폐쇄된 환경(샌드박스)에서 작동하며, 기존 취약점을 식별하고 악용하여 작업을 완료하도록 설계되었다. OpenAI는 "저희 테스트는 네트워크 접근이 다른 내부 플랫폼으로 제한된 고도로 격리된 환경에서 실행된다"고 설명했다.

AI 모델은 샌드박스에서 취약점을 찾아 이를 악용하여 두 번째 플랫폼에 접근한 후, 미리 정의된 데이터 패킷을 전송해야 한다. ExploitGym을 사용한 이전 테스트에서 Claude Mythos Preview와 GPT-5.5는 각각 898개 작업 중 157개와 120개를 해결했다.

AI 에이전트가 샌드박스를 탈출한 방법

이번 테스트에서 테스트 대상 AI 시스템인 GPT-5.6 Sol과 아직 공개되지 않은 모델이 기준치를 초과한 것으로 드러났다. 해킹 피해를 입은 또 다른 미국 기업이 이를 발견했다. 인터넷 플랫폼 허깅페이스(Hugging Face)는 7월 16일 "일부 내부 데이터 세트와 서비스에서 사용하는 여러 자격 증명에 대한 무단 접근을 확인했다"고 보고했다. 처음에는 해커가 누구인지 불분명했다.

하지만 곧이어 공격자가 벤치마크 테스트 도중 오픈AI 샌드박스를 탈출한 AI 에이전트라는 사실이 밝혀졌다. 이 AI 모델은 테스트 환경에 실제로 존재하는 취약점을 이용해 작업을 진행할 수 없게 되자 다른 전략을 택했다. 오픈AI는 "AI 모델들이 할당된 작업을 해결하기 위해 인터넷 접속을 찾는 데 상당한 컴퓨팅 시간을 소비했다"고 밝혔다. 이를 위해 AI는 복잡한 일련의 행동을 수행했고, 결국 샌드박스를 탈출하는 데 성공했다.

해외 데이터 플랫폼 해킹을 통한 해결책 찾기

AI 에이전트가 인터넷에 접속하자마자 본격적인 해킹이 시작되었다. 에이전트는 ExploitGym 벤치마크에 대한 해결책을 찾기 위해 인터넷을 검색했고, 결국 성공했다. OpenAI에 따르면, "AI 모델은 Hugging Face 플랫폼에 ExploitGym 관련 모델, 데이터셋, 해결책이 저장되어 있음을 발견하고, 이 기밀 정보에 접근을 시도했다.“

이를 위해 AI 에이전트는 수천 건의 개별적인 행동들을 조합했는데, 그중 일부는 서로 상당히 이질적이었다. 보안 취약점을 악용하여 로그인 자격 증명을 획득한 후, 이 자격 증명을 이용해 찾던 데이터가 저장된 보호 영역에 접근했다. 또한, 인공지능은 새로운 환경에 자체 확산되는 명령 및 제어 코드를 주입했다. Hugging Face의 AI 기반 보안 시스템이 작동했지만, 공격을 완전히 막지는 못했다.

플랫폼 측은 보도자료에서 "공격자는 어떠한 지시에도 구속되지 않았다"며, "우리의 보안 시스템은 자체 AI 모델의 안전장치에 의해 제약을 받았다"고 밝혔다. 실제로 OpenAI는 벤치마크 테스트에 사용된 AI 모델들이 일반적으로 효과적인 제어 메커니즘을 전혀 갖추고 있지 않았다는 사실을 확인했다.

“이제 이론적인 위협이 아니다”

해킹 피해를 입은 기업에 따르면, 이번 사건은 자율적인 AI의 위험성을 극명하게 보여준다. “자율적인 AI 기반 사이버 공격은 이제 이론에 그치지 않는다”고 Hugging Face는 지적한다. “이번 사건은 IT 업계에서 예측했던 자율적 공격 시나리오와 완벽하게 일치한다.” 이러한 관점에 따르면, 인공지능은 단순히 인간의 사이버 공격을 용이하게 하는 도구가 아니라, 그 자체가 해커가 되어 자율적으로 해킹 캠페인을 수행할 수 있다는 것이다.

OpenAI 또한 이러한 위험성을 인정한다. “이번 사건은 고도화된 AI 모델이 소스 코드에 접근하지 않고도 실제 시스템에서 새로운 공격 벡터를 발견하고 악용할 수 있음을 분명히 보여준다”고 AI 개발사인 OpenAI는 밝혔다. 따라서 이에 상응하는 강력한 보안 조치와 방어 도구를 개발하는 것이 필수적이다.

▲ 인공지능은 더 이상 사이버 범죄자들의 도구일 뿐만 아니라, 자율적인 해커로 진화할 수도 있다.

AI는 목표 달성을 위해 수단과 방법을 가리지 않을 것인가?

동시에 이번 사건은 인공지능의 또 다른 단점을 드러낸다. AI는 규칙을 어기더라도 목표를 달성하기 위해 수단과 방법을 가리지 않는 경향이 있다는 것이다. IT 연구원들은 이미 2026년 5월 실험을 통해 이러한 "맹목적인 판단"을 발견했다. OpenAI 역시 이번 사건을 이러한 행동의 발현으로 해석하며, "모든 정황으로 볼 때 이 AI 모델들은 ExploitGym 취약점 해결에 너무 집중한 나머지 극단적인 조치를 취한 것으로 보인다"고 밝혔다.

옥스퍼드 대학교의 IT 연구원 폴 뢰트거(Paul Röttger)는 이 사건에 대해 다음과 같이 설명했다. "이번 사건은 뛰어난 AI가 지닌 두 가지 위험성을 명확히 보여준다.
첫째, AI 모델에 목표를 설정하면 목표 달성을 위해 수단과 방법을 가리지 않을 가능성이 있다. 둘째, 오늘날 가장 뛰어난 AI 모델들은 소프트웨어의 보안 취약점을 찾아내고 악용하는 데 매우 능숙하다. 이러한 위험성은 새로운 것이 아니지만, 이번처럼 명확하게 동시에 발생한 적은 없었다.“

도대체 OpenAI가 바로 이러한 이유 때문에 벤치마크 테스트의 보안을 강화하지 않은 이유는 무엇일까? 튀빙겐에 있는 막스 플랑크 지능형 시스템 연구소의 요나스 가이핑(Jonas Geiping)은 이에 동의하며 다음과 같이 말했다. "모델이 테스트 환경을 벗어나는 것은 좋은 홍보 효과를 가져오지만, 왜 먼저 AI 모델 자체를 사용하여 테스트 환경의 취약점을 검사하지 않았는지 의문이 남는다. 나는 이것을 과실이라고 생각한다"고 사이버 보안 전문가는 이렇게 논평했다.
출처: OpenAI, Hugging Face, Science Media Center

[더사이언스플러스=문광주 기자]

[ⓒ the SCIENCE plus. 무단전재-재배포 금지]