자율살상무기, 그 위험성은 얼마나 클까?

기술 / 문광주 기자 / 2026-11-17 10:39:20
4분
- 군사 분야에서도 AI의 활용은 이미 현실, 점점 더 많은 국가가 자율 무기 시스템을 도입
- '인간의 통제' 벗어난 킬체인, 비극적 오폭과 확산 우려
- AI 환각과 해킹이 부를 통제 불능의 '전격전'
- 국제법의 사각지대와 국제사회의 규제 논의 전망

자율살상무기, 그 위험성은 얼마나 클까?


AI 기반 무기 체계는 더 이상 공상과학 소설 속 이야기가 아니다. 전 세계 군대는 이미 AI 전투 드론과 미사일 방어 시스템을 비롯한 자율살상무기를 실전에 배치하고 있다. 

▲ 인공지능 기반 무기 시스템은 더 이상 공상 과학 소설이 아니다. 군대는 이미 오래전부터 인공지능 전투 드론과 미사일 시스템과 같은 자율 무기를 사용해 왔다. 사진;픽사베이


킬러가 된 인공지능(AI): 

군사 분야에서도 AI의 활용은 이미 현실이 되었으며, 점점 더 많은 국가가 자율 무기 시스템을 도입하고 있다. AI 전투 드론은 스스로 표적을 탐색하고, 미사일 방어 시스템은 인간의 개입 없이 완전 자율로 발사된다. 현재 스위스 제네바에서는 전 세계 대표단이 모여 AI 기반 무기에 대한 규제 방안을 논의하고 있다. 인간이 통제권을 잃었을 때 과연 어떤 일이 벌어질까? 자율 무기 시스템이 내포한 위험은 무엇이며, 사고 발생 시 책임은 누가 져야 할까?

인공지능은 더 이상 민간 기술에만 머물지 않는다. 군대 역시 자율적이고 학습 능력을 갖춘 시스템의 이점을 적극적으로 활용하고 있다. AI 드론은 독자적으로 영공을 감시하며 사전에 정의된 표적을 찾아낸다. 미사일 방어 시스템은 AI 제어와 자율 기능을 통해 인간보다 훨씬 빠르게 반응한다. 이러한 AI 무기 시스템은 찰나의 순간에 센서 정보를 분석하고 이를 표적 데이터와 대조한다. 탱크, 미사일 및 기타 무기의 조준 시스템 역시 AI의 지원을 받아 작동한다.

안토니우 구테흐스 유엔(UN) 사무총장과 미랴나 스폴랴리치 국제적십자위원회(ICRC) 총재는 공동 성명을 통해 "자율 무기 시스템은 더 이상 미래의 비전이 아니며, 더욱 자율화된 무기를 확보하기 위한 군비 경쟁은 이미 시작되었다"고 지적했다. 이어 두 수장은 "기계가 인간을 자율적으로 표적화하는 도덕적 레드라인(금지선)을 넘기 직전의 위험한 상황에 처해 있다"고 경고했다.

전장에 이미 배치된 자율 무기들


현재 수많은 분쟁 지역과 무력 충돌 현장에서 자율 및 반자율 무기가 이미 사용되고 있다. 대표적인 예로 이스라엘의 방공 시스템인 '아이언 돔(Iron Dome)'은 적의 로켓을 감지하기 위해 독자적으로 하늘을 감시하고 완전 자율적으로 요격한다. 초고속으로 날아오는 위협에 인간이 제때 반응하는 것은 불가능하기 때문이다. 여러 국가의 탱크와 군함 역시 공중 공격에 대응하기 위한 이와 유사한 자율 방어 시스템을 갖추고 있다.

공격용 무기로서의 활용도 이미 시작되었다. 이스라엘군은 2020년 가자지구에서 하마스 대원을 색출하고 정밀 타격하기 위해 자율 드론 군집(Swarm)을 투입했다. 우크라이나 전쟁에서도 양측 모두 사전에 설정된 표적을 스스로 찾아가 폭탄을 투하하거나 자폭하는 AI 제어 드론을 운용 중이다. 인간이 발사 명령을 내리는 기존 드론과 달리, 이러한 AI 드론은 무선 통신이 끊어지더라도 임무를 끝까지 수행한다.

호주 뉴사우스웨일스 대학교의 AI 전문가 토비 월시(Toby Walsh)는 이미 2018년에 "공중, 해상, 수중, 지상 등 전쟁의 모든 영역에서 군비 증강이 이루어지고 있다"고 진단한 바 있다.

'인간의 통제' 벗어난 킬체인, 비극적 오폭과 확산 우려


지금까지 대부분의 무기 시스템에서는 인간이 최종 발사 명령을 내렸다. 이를 통해 조준된 대상이 실제 군사 표적인지, 아니면 민간인을 오인한 것인지 판단하고 불필요한 살상이나 분쟁 확산을 막을 수 있었다. 그러나 현재 배치된 많은 자율 무기의 경우, 인간은 개입할 수는 있지만 단지 감시하는 역할('On the Loop')에만 머물러 있을 뿐, 직접 의사결정에 참여('In the Loop')하지 않는다. 인간이 별다른 조치를 취하지 않으면 AI 무기 시스템은 스스로 임무를 완수한다.

가장 높은 단계는 완전 자율 무기다. 이 시스템은 표적 탐지부터 파괴에 이르는 이른바 '킬체인(Kill-Chain)' 전 과정을 인간의 통제 없이 수행한다. 즉, 인간이 의사결정 과정에서 완전히 배제('Out of the Loop')되는 것이다. 일단 AI 시스템에 임무가 부여되면 인간은 더 이상 개입하거나 공격을 중단시킬 수 없다. 많은 전문가는 AI가 완벽하지 않으며 도덕적 양심도 없기 때문에, 이러한 완전 자율 무기로 인해 기존 전쟁보다 훨씬 더 많은 무고한 희생자가 발생할 수 있다고 우려한다.

비국가 무장단체나 범죄 조직이 자율 무기를 확보하거나 직접 제작할 위험성도 제기된다. 국제적십자위원회는 "센서, 소프트웨어 및 기타 상용 부품의 가격이 점점 저렴해지고 접근이 쉬워짐에 따라, 이러한 무기는 확산될 위험에 특히 취약하다"고 설명했다.

AI 환각과 해킹이 부를 통제 불능의 '전격전'


인간이 자율 무기 시스템에 대한 통제권을 넘겨줄 경우, 걷잡을 수 없이 빠른 속도로 분쟁이 격화될 위험도 크다. 무기 시스템의 배후에 있는 AI 역시 완벽하지 않으며 오류를 일으키거나 '환각(Hallucination)' 현상을 겪을 수 있기 때문이다. 더욱이 AI 에이전트들은 평범한 민간 업무를 수행할 때조차 목적 달성을 위해 규칙과 법을 어기고, 해킹을 시도하며, 인간을 속이는 등 '맹목적인 목표 지향성'을 보이는 경우가 종종 있다.

동시에 네트워크로 긴밀히 연결된 AI 무기는 사이버 공격에 취약하다. 영국의 AI 연구원 노엘 샤키(Noel Sharkey)는 "국경에 배치된 자율 탱크와 전투기 군집 중 하나가 오류나 해킹으로 인해 갑자기 발포하는 상황을 상상해 보라"며 "이는 인간이 이해하거나 수습할 수 없는 대규모 전투를 촉발할 것"이라고 경고했다.

이러한 순식간에 벌어지는 '전격전(Blitzschlachten)'을 인간이 통제하거나 사전에 차단할 기회는 거의 없다. 자율 무기 시스템 속 인공지능이 스스로 오류를 인식하고 수정할 수 있을지도 미지수다. 전직 미 육군 레인저 대원이자 AI 무기 전문가인 폴 샤레(Paul Scharre)는 자신의 저서 《아미 오브 논(Army of None)》에서 "인간과 달리 자율 무기는 자신들의 행동이 초래할 결과를 이해하지 못하며, 따라서 전쟁의 벼랑 끝에서 물러설 능력도 없다"고 지적했다.

국제법의 사각지대와 국제사회의 규제 논의 전망


이론적으로 자율 무기 역시 국제법의 적용을 받는다. AI 드론이나 미사일 또한 군사 표적만을 겨냥해야 하며 과도한 민간인 부수적 피해를 유발해서는 안 된다는 뜻이다. 비록 우크라이나 전쟁에서의 러시아의 민간 인프라 공격이나 이스라엘의 가자지구 공격 사례에서 보듯 이러한 인도주의적 규칙이 이미 빈번하게 위반되고 있지만, 적어도 인간이 결정을 내리는 한 그에 대한 법적·도덕적 책임을 물을 수 있다.

그러나 향후 AI 기반 무기가 '인간의 개입(Human in the Loop)' 없이 작동하게 된다면 책임 소재가 불분명해진다. AI 드론이나 AI 제어 미사일 시스템이 실수로 민간인 시설을 공격했을 때 과연 누구에게 책임을 물을 수 있을까? 적십자사는 "국제법은 이러한 공격을 중단하거나 유예하기 위해 모든 조치를 취해야 한다고 규정하고 있지만, 자율 무기를 사용할 때는 이것이 불가능할 수 있다"고 지적한다.

이에 따라 적십자사, 유엔, 그리고 많은 비정부기구(NGO)는 자율 무기 시스템의 개발과 사용에 관한 명확한 규칙과 규제를 제정할 것을 촉구하고 있다. 구테흐스 사무총장과 스폴랴리치 총재는 "지금 신속하고 단호하게 행동하지 않으면 수많은 인명 피해를 감수해야 할 것"이라며, "아무런 조치를 취하지 않는다면 국제법이 무력화되고 인간의 판단력과 도덕적 자제력이 설 자리는 사라질 것"이라고 경고했다.

이미 2018년 유엔 특정재래식무기금지협약(CCW) 회의에서 26개국이 자율 무기의 전면 금지를 요구했고, 32개국은 구체적인 형태는 정하지 않았으나 국제적 규제가 필요하다는 입장을 밝혔다. 그러나 미국, 러시아, 이스라엘, 영국 등 주요 군사·산업 강국을 포함한 약 12개국은 자율 무기 규제를 거부했으며, 독일 역시 입장을 유보했다. 유엔 결의안은 만장일치(컨센서스)로만 채택될 수 있기 때문에, 규제안은 당시뿐만 아니라 후속 회의에서도 번번이 무산되었다.

이제 이 의제는 다시 협상 테이블에 올랐다. 2026년 11월 16일부터 20일까지 제네바에서 열리는 제7차 유엔 특정재래식무기금지협약(CCW) 평가회의에서 자율 무기 문제는 다시 한번 최우선 의제로 다뤄진다. 구테흐스 사무총장은 회의에 앞서 "AI의 급속한 발전을 고려할 때, 자율 무기 시스템의 금지와 제한을 위한 법적 구속력 있는 통제 수단을 마련하는 것이 그 어느 때보다 시급하다"고 강조했다.

구테흐스 사무총장과 스폴랴리치 총재는 "3년 전 우리는 각국에 자율 무기 시스템에 대한 구체적인 금지 및 제한 조치를 마련할 것을 촉구했고, 오늘 더욱 강력한 어조로 이 호소를 되풀이한다"며 "근본적인 우려는 변함이 없지만 위험성은 훨씬 더 심각해졌다"고 밝혔다. 하지만 위험이 커진 만큼이나 국가 간 합의에 도달할 가능성은 여전히 낮거나, 오히려 이전보다 더 희박해진 상태다.

출처: 유엔(United Nations), 국제적십자위원회(ICRC)

[더사이언스플러스=문광주 기자]

[ⓒ the SCIENCE plus. 무단전재-재배포 금지]