5분 읽기
- 악의적인 행위자 한 명이 수천 개의 AI 인격을 조종할 수 있다
- 허위 정보와 필터 버블로 이미 약화된 민주주의와 집단 지성의 기반을 더욱 훼손
- AI 군집이 인위적으로 생성된 잡담으로 인터넷 도배, 인공지능의 훈련 데이터 오염시켜
- 최초 방어선, 모든 플랫폼에 통합돼 항상 작동하는 AI탐지기,실시간 모니터링 시스템 필요

AI 군집: 민주주의에 대한 새로운 위협인가?
협업 인공지능이 우리의 세계관을 어떻게 뒤흔들 수 있을까?

조직적인 허위 정보 유포:
인공지능은 이미 여론을 조작하고 허위 정보를 퍼뜨리는 데 일조하고 있다. 조직적인 AI 군집을 통해 상황은 더욱 악화될 수 있다. AI 연구자들은 이러한 AI-에이전트의 적응형 자율 네트워크가 허위 정보를 완전히 새로운 차원으로 끌어올릴 수 있다고 경고한다. 이러한 메시지 군집은 인터넷을 마비시킬 정도로 많은 정보를 쏟아내어 마치 다수 의견이자 합의인 것처럼 인식되게 만들 수 있으며, 이는 심각한 결과를 초래할 수 있다. 

▲ 인공지능 에이전트들이 서로 협력하는 집단으로 묶이면 조작과 허위 정보 유포가 훨씬 더 쉽고 위험해질 수 있다. pixabay

인공지능은 빠른 속도로 발전하고 있다. 현재의 AI 모델은 복잡한 작업을 독립적으로 구조화하고, 창의적이며, 이미 자유 의지의 기준을 충족하고 있다. 하지만 GPT, 제미니, 클로드 등의 대규모 언어 모델(LLM)은 교묘하게 거짓말을 하고, 우리를 조종하며, 스스로를 복제할 수도 있다는 단점이 있다. 여러 AI 시스템이 상호 작용할 때, 이미 그들만의 사회적 규범이 형성되고 있다. AI는 또한 딥페이크와 허위 정보 유포를 점점 더 쉽게 만들고 있다.

협력하는 AI 에이전트 무리

또한 상황은 곧 더 악화될 수 있다. 에이전트와 같은 능력을 갖춘 강력한 AI 모델들이 서로 연결되어 협력하는 AI 에이전트 무리를 형성할 수 있기 때문이다. 노르웨이 연구기관 SINTEF의 다니엘 틸로 슈뢰더(Daniel Thilo Schroeder)와 그의 동료들은 "이러한 AI 무리는 영구적인 정체성과 기억을 가진 AI 제어 에이전트 네트워크로 구성된다"고 설명했다.

개별 AI는 이 무리 내에서 인간처럼 상호 작용한다. 연구진은 "이들은 공통 목표를 중심으로 협력하고 어조와 내용을 다양하게 표현할 수 있다"며, "따라서 악의적인 행위자 한 명이 수천 개의 AI 인격을 조종할 수 있다"고 설명했다. 이 AI들은 다양한 소셜 플랫폼, 인간의 습관과 반응, 그리고 필터 버블에 독립적으로 적응할 수 있다. 최소한의 노력으로 인터넷과 소셜 미디어 전체를 허위 정보로 가득 채울 수 있다.

다수 의견의 환상

AI 봇과 AI가 생성한 허위 정보를 탐지하는 것은 이미 어려운 일이다. 게다가 AI 집단은 허위 정보 유포와 여론 조작을 완전히 새로운 차원으로 끌어올릴 수 있다. 슈뢰더 연구팀은 "이러한 AI 네트워크는 특정 공동체의 의견과 문화적 가치에 맞춰 메시지를 완벽하게 조정하고, 기존의 봇넷보다 훨씬 효율적으로 여론을 조작할 수 있다"고 말했다. 콘텐츠가 다양한 주체에서 나온 것처럼 보이기 때문에 기존 봇보다 탐지하기도 훨씬 어렵다.

가장 큰 위험은 AI 집단이 다양한 방식으로, 그리고 매우 다양한 사용자 집단에 메시지를 퍼뜨림으로써 여론의 지형을 장악하기 시작한다는 점이다. AI 허위 정보가 만연해지면 수많은 독립적인 목소리가 동일한 메시지나 허위 정보를 전달하는 것처럼 보이게 된다. 연구팀은 "이로 인해 다수 의견이라는 착각이 생긴다"고 설명한다. "모두가 그렇게 말한다"는 잘못된 인상은 개별 주장이 논란의 여지가 있더라도 신념과 규범에 영향을 미칠 수 있다.

이러한 AI 집단은 매우 광범위하게 퍼져나가면서 마치 여러 독립적인 목소리가 동일한 메시지나 허위 정보를 퍼뜨리는 것처럼 보인다. 민주주의와 집단 지성의 기반이 위협받고 있다. 극단적인 경우, AI가 생성한 게시물은 신뢰할 수 있는 뉴스 및 정보를 효과적으로 대체하여 진실과 거짓을 구분할 수 없게 만들 수 있다. 연구진은 "이는 허위 정보와 필터 버블로 이미 약화된 민주주의와 집단 지성의 기반을 더욱 훼손한다"고 경고한다. 극단적인 경우, 이는 선거, 법원, 국가 기관에 대한 불신을 조장해 민주주의의 근간을 무너뜨릴 수 있다.

반대로, 이러한 AI 집단은 특정한 과학자, 언론인 또는 정치인을 비방하고 공격하기 위해 악용될 수도 있다. 연구진은 "기존의 봇 공격이나 트롤과는 달리, 이러한 AI 집단의 메시지는 자발적으로 나타나는 것처럼 보이며 여러 다른 사람들로부터 작성된 것처럼 보인다"고 설명했다. 이 때문에 명예훼손과 허위 정보가 더욱 신빙성을 얻고 AI 공격으로 식별하기가 더 어려워진다.

▲ 인공지능 집단은 가짜 뉴스에 우위를 점하게 할 수 있다. pixabay

AI 군집이 훈련 데이터를 오염시킨다!

두 번째 위험이 존재한다. 슈뢰더 연구팀은 "AI 군집이 인위적으로 생성된 잡담으로 인터넷을 도배함으로써 미래 인공지능의 훈련 데이터를 오염시킨다"고 설명했다. "이러한 'LLM 그루밍' 전략을 통해 악의적인 행위자는 AI의 훈련 자료를 오염시킬 수 있다." AI 모델은 이러한 콘텐츠를 흡수하고 내부 모델 가중치를 그에 맞게 조정한다. 그 결과, 의도적으로 유포된 의견을 반영하는 시스템이 만들어진다.

바로 이러한 시도가 이미 진행되고 있다. 연구진은 "프라우다(Pravda) 네트워크와 같은 친러시아 세력의 활동을 분석한 결과, 이러한 네트워크는 이미 AI 흡수에 최적화되어 있음을 알 수 있다"고 보고했다. 수백 개의 웹사이트에 동시에 기사 복사본이 게시되는 것이 그 증거다. 이러한 페이지의 구조는 명백히 사람이 읽기 위한 것이 아니라 AI-크롤러(Crawler)에 최적화되어 있다.

어떻게 대응할 수 있을까?

그렇다면 어떤 대응책이 있을까? 이러한 AI 군집이 인터넷과 소셜 미디어를 장악하는 것을 어떻게 막을 수 있을까? 슈뢰더와 그의 동료들에 따르면, 이러한 집단적 위협에 대처하기 위해서는 집단적인 대응책이 필요하다. "최초의 방어선은 모든 플랫폼에 통합돼 항상 작동하는 AI 탐지기와 실시간 모니터링 시스템이 될 것이다"고 그들은 설명한다. 이러한 시스템은 수집된 데이터를 활용하여 특정 콘텐츠의 통계적으로 유의미한 클러스터와 조직적인 행동의 지표를 식별할 수 있다.

또 다른 방어 전략은 콘텐츠 자체에 대응하는 것이다. 디지털 워터마크를 통해 진위를 확인할 수 있고 출처를 명확하게 추적할 수 있는 정확한 정보를 AI를 이용해 제공하는 것이다. 그러나 오용을 방지하기 위해서는 이러한 방식이 엄격하고 투명하며 민주적으로 정당한 조건 아래에서 이루어져야 한다고 연구진은 강조했다.

"실용적인 접근 방식으로는 이러한 공격의 경제적 동기를 해결하는 것도 고려할 수 있다. 우선적으로 이러한 조작의 근간이 되는 상업적 동기와 시장을 차단해야 한다"고 슈뢰더와 그의 연구팀은 지적했다. 예를 들어, AI 집단이 생성한 콘텐츠에 알고리즘적 불이익을 주거나 광고 수익을 창출하지 못하도록 하는 방식이 이에 해당한다. 그러나 이 모든 것을 위해서는 정책 입안자, 기업, 사법부의 협력적인 조치가 필요하며, 이것이 문제가 될 수 있다.

참고: Science, 2026; doi: 10.1126/science.adz1697
출처: Science, 미국 과학진흥협회(AAAS)

[더사이언스플러스=문광주 기자]

[ⓒ the SCIENCE plus. 무단전재-재배포 금지]