딥페이크: 미래에 가짜 영상을 더욱 효과적으로 탐지하는 방법
- 기술 / 문광주 기자 / 2026-09-11 12:19:16
4분 읽기
- AI 모델은 목소리와 말투까지 모방. 이러한 딥페이크 영상들은 사람이 알아보기 어렵다.
- 대안: 자기 지도학습을 통해 딥페이크 탐지기를 훈련 시켜
- AI에 진짜 영상만 제공하고, 원본과 구별되는 특징을 스스로 추출하도록 한다
- 픽셀 수준에서 이상 징후를 찾는 대신, "ExposeAnyone"이라는 이름의 이 AI 모델은 말하는 사람의 얼굴 표정에 집중
정치인, 배우, 유명인 등 누구든 사진이나 영상에서 볼 때, 이제는 그 이미지가 진짜인지 아닌지 확신할 수 없다. 인공지능은 이제 실제와 매우 흡사한 딥페이크 영상을 만들어낼 수 있기 때문이다. 영상 속 인물은 실제 사람처럼 보일 뿐만 아니라, AI 모델은 목소리와 말투까지 모방한다. 이러한 딥페이크 영상들은 사람이 알아보기 어려울 정도다.
딥페이크 탐지기의 과제
딥페이크 탐지에 어려움을 겪는 것은 사람만이 아니다. 딥페이크 탐지를 위해 특별히 훈련된 AI 시스템조차 점점 더 실패하고 있다. 그 이유 중 하나는 딥페이크 탐지기 훈련에 절충안이 필요하기 때문이다. 대규모 데이터셋을 사용하여 일반적인 딥페이크의 특징을 학습하는 AI 모델은 매우 정확하지만, 훈련 데이터셋에 없는 특징을 가진 위조 영상은 종종 탐지하지 못한다.
대안은 자기 지도학습을 통해 딥페이크 탐지기를 훈련하는 것이다. 이 방식에서는 AI에 진짜 영상만 제공하고, 원본과 구별되는 특징을 스스로 추출하도록 한다. 도쿄대학교의 시오하라 카에데(Kaede Shiohara) 교수 연구팀은 "이러한 모델은 일반적인 탐지 가능성은 높지만, 자기 지도학습만으로는 구별되는 특징을 학습하는 데 어려움을 겪는 경우가 많다"고 설명했다.
새로운 딥페이크 탐지기의 작동 원리
바로 이러한 이유로 시오하라 교수 연구팀은 새로운 가짜 영상 탐지기를 개발했다. 이 AI 모델 역시 자기 지도학습에 기반하지만, 인식 특징에 있어 차이가 있다. 픽셀 수준에서 이상 징후를 찾는 대신, "ExposeAnyone"이라는 이름의 이 AI 모델은 말하는 사람의 얼굴 표정에 집중한다. 연구진은 "실제 말하는 사람과 가짜 말하는 사람 사이의 차이점에 초점을 맞춘다"고 설명했다.
이는 450시간 이상의 실제 비디오 자료로 학습된 확산 모델을 기반으로 한다. 이 학습 비디오를 통해 AI는 다양한 소리를 낼 때 나타나는 얼굴 움직임을 학습한다. 이러한 전형적인 얼굴 표정은 53개의 서로 다른 매개변수를 사용하여 분류된다. 학습이 완료되면 AI 모델은 오디오 트랙을 기반으로 말하는 사람의 얼굴 움직임을 예측할 수 있다.
두 번째 단계는 "이제 특정 개인에 맞게 AI 모델을 개인화하여 그 사람의 개별적인 얼굴 표정을 학습하도록 한다"고 시오하라 연구팀은 설명했다. 이를 위해 딥페이크 탐지기는 대상 인물(예: 정치인이나 유명인)의 실제 영상 약 60분 분량만 있으면 된다. ExposeAnyone은 이 영상들을 바탕으로 해당 인물의 딥페이크 영상을 검색할 준비가 된다.
95% 이상의 탐지율
시오하라와 그의 동료들은 딥페이크 탐지에 일반적으로 사용되는 네 가지 평가 데이터셋을 사용하여 새로운 가짜 영상 탐지기의 성능을 테스트했다. 그 결과, ExposeAnyone은 평균 95% 이상의 탐지율을 달성했으며, 다른 탐지기들이 종종 탐지하지 못하는 가짜 영상까지도 찾아냈다. "따라서 우리의 접근 방식은 기존의 최첨단 방법을 훨씬 뛰어넘는 성능을 보여준다"고 연구팀은 밝혔다.
ExposeAnyone은 Sora 2와 같은 Frontier 모델을 사용하여 기존 탐지기가 탐지하기 어려웠던 영상 위조까지 약 95%의 정확도로 탐지했다. 기존 딥페이크 탐지기는 이 테스트에서 우연에 의한 탐지보다 약간 나은 수준의 성능을 보였다. 연구진은 "우리 방법은 높은 압축률이나 흐림 처리와 같이 의도적으로 삽입된 간섭에도 매우 강건하다"고 언급하며, "이는 실제 환경에서의 위조 영상 탐지에도 적용 가능하다는 것을 보여준다"고 덧붙였다.
차세대 딥페이크 탐지기
이 탐지기는 견고성과 광범위한 탐지 범위를 높은 성공률로 결합한 최초의 자체 모니터링 방식이다. 하지만 한 가지 단점이 있다. ExposeAnyone의 사전 학습 과정이 비교적 복잡하고, 사용된 영상 데이터의 양 때문에 고성능 컴퓨터 하드웨어가 필요하다. 또한, 영상 속 인물의 표정을 학습해야 하는데, 이는 실시간으로 구현하기에는 현실적으로 어렵다.
이러한 한계에도 불구하고, 연구팀은 ExposeAnyone이 향후 딥페이크 탐지 기술 발전에 큰 도움이 될 것으로 기대하고 있다. ExposeAnyone은 차세대 딥페이크 탐지기의 시대를 열어갈 잠재력을 지니고 있다.
출처: Kaede Shiohara, 도쿄대학교 외, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026; arxiv-Preprint, doi: 10.48550/arXiv.2601.02359
- AI 모델은 목소리와 말투까지 모방. 이러한 딥페이크 영상들은 사람이 알아보기 어렵다.
- 대안: 자기 지도학습을 통해 딥페이크 탐지기를 훈련 시켜
- AI에 진짜 영상만 제공하고, 원본과 구별되는 특징을 스스로 추출하도록 한다
- 픽셀 수준에서 이상 징후를 찾는 대신, "ExposeAnyone"이라는 이름의 이 AI 모델은 말하는 사람의 얼굴 표정에 집중
딥페이크: 미래에 가짜 영상을 더욱 효과적으로 탐지하는 방법
가짜 영상 적발:
인공지능 기술의 급속한 발전으로 가짜 영상 탐지가 점점 어려워지고 있다. 심지어 특수 훈련된 AI 모델을 사용하더라도 마찬가지다. 그런데 최근 연구진이 기존 방식보다 훨씬 더 정확하게 가짜 영상을 탐지하는 AI 기법을 개발했다. "ExposeAnyone"이라는 이름의 이 시스템은 개인 맞춤형으로 작동하며, 영상 속 인물의 표정에서 미묘한 차이를 찾아낸다.
 |
| ▲ 가짜 동영상을 탐지하는 것이 점점 더 어려워지고 있다. 새로운 AI 탐지기가 도움이 될 수 있다. |
정치인, 배우, 유명인 등 누구든 사진이나 영상에서 볼 때, 이제는 그 이미지가 진짜인지 아닌지 확신할 수 없다. 인공지능은 이제 실제와 매우 흡사한 딥페이크 영상을 만들어낼 수 있기 때문이다. 영상 속 인물은 실제 사람처럼 보일 뿐만 아니라, AI 모델은 목소리와 말투까지 모방한다. 이러한 딥페이크 영상들은 사람이 알아보기 어려울 정도다.
딥페이크 탐지기의 과제
딥페이크 탐지에 어려움을 겪는 것은 사람만이 아니다. 딥페이크 탐지를 위해 특별히 훈련된 AI 시스템조차 점점 더 실패하고 있다. 그 이유 중 하나는 딥페이크 탐지기 훈련에 절충안이 필요하기 때문이다. 대규모 데이터셋을 사용하여 일반적인 딥페이크의 특징을 학습하는 AI 모델은 매우 정확하지만, 훈련 데이터셋에 없는 특징을 가진 위조 영상은 종종 탐지하지 못한다.
대안은 자기 지도학습을 통해 딥페이크 탐지기를 훈련하는 것이다. 이 방식에서는 AI에 진짜 영상만 제공하고, 원본과 구별되는 특징을 스스로 추출하도록 한다. 도쿄대학교의 시오하라 카에데(Kaede Shiohara) 교수 연구팀은 "이러한 모델은 일반적인 탐지 가능성은 높지만, 자기 지도학습만으로는 구별되는 특징을 학습하는 데 어려움을 겪는 경우가 많다"고 설명했다.
새로운 딥페이크 탐지기의 작동 원리
바로 이러한 이유로 시오하라 교수 연구팀은 새로운 가짜 영상 탐지기를 개발했다. 이 AI 모델 역시 자기 지도학습에 기반하지만, 인식 특징에 있어 차이가 있다. 픽셀 수준에서 이상 징후를 찾는 대신, "ExposeAnyone"이라는 이름의 이 AI 모델은 말하는 사람의 얼굴 표정에 집중한다. 연구진은 "실제 말하는 사람과 가짜 말하는 사람 사이의 차이점에 초점을 맞춘다"고 설명했다.
 |
| ▲ 가짜 영상 탐지 원리: 예비 학습 단계에서 AI는 실제 영상에서 얼굴 표정을 학습한다. 두 번째 단계에서는 특정 인물을 대상으로 학습한다. 그 결과, 해당 인물의 가짜 영상을 95%의 정확도로 식별할 수 있다. — © Shiohara et al./ ExposeAnyone, CC-by 4.0 |
이는 450시간 이상의 실제 비디오 자료로 학습된 확산 모델을 기반으로 한다. 이 학습 비디오를 통해 AI는 다양한 소리를 낼 때 나타나는 얼굴 움직임을 학습한다. 이러한 전형적인 얼굴 표정은 53개의 서로 다른 매개변수를 사용하여 분류된다. 학습이 완료되면 AI 모델은 오디오 트랙을 기반으로 말하는 사람의 얼굴 움직임을 예측할 수 있다.
두 번째 단계는 "이제 특정 개인에 맞게 AI 모델을 개인화하여 그 사람의 개별적인 얼굴 표정을 학습하도록 한다"고 시오하라 연구팀은 설명했다. 이를 위해 딥페이크 탐지기는 대상 인물(예: 정치인이나 유명인)의 실제 영상 약 60분 분량만 있으면 된다. ExposeAnyone은 이 영상들을 바탕으로 해당 인물의 딥페이크 영상을 검색할 준비가 된다.
95% 이상의 탐지율
시오하라와 그의 동료들은 딥페이크 탐지에 일반적으로 사용되는 네 가지 평가 데이터셋을 사용하여 새로운 가짜 영상 탐지기의 성능을 테스트했다. 그 결과, ExposeAnyone은 평균 95% 이상의 탐지율을 달성했으며, 다른 탐지기들이 종종 탐지하지 못하는 가짜 영상까지도 찾아냈다. "따라서 우리의 접근 방식은 기존의 최첨단 방법을 훨씬 뛰어넘는 성능을 보여준다"고 연구팀은 밝혔다.
 |
| ▲ 이 유명 배우의 얼굴 표정을 비교해 보면 가짜 영상(오른쪽 빨간색)임을 알 수 있다. — © Shiohara et al./ ExposeAnyone, CC-by 4.0 |
ExposeAnyone은 Sora 2와 같은 Frontier 모델을 사용하여 기존 탐지기가 탐지하기 어려웠던 영상 위조까지 약 95%의 정확도로 탐지했다. 기존 딥페이크 탐지기는 이 테스트에서 우연에 의한 탐지보다 약간 나은 수준의 성능을 보였다. 연구진은 "우리 방법은 높은 압축률이나 흐림 처리와 같이 의도적으로 삽입된 간섭에도 매우 강건하다"고 언급하며, "이는 실제 환경에서의 위조 영상 탐지에도 적용 가능하다는 것을 보여준다"고 덧붙였다.
차세대 딥페이크 탐지기
이 탐지기는 견고성과 광범위한 탐지 범위를 높은 성공률로 결합한 최초의 자체 모니터링 방식이다. 하지만 한 가지 단점이 있다. ExposeAnyone의 사전 학습 과정이 비교적 복잡하고, 사용된 영상 데이터의 양 때문에 고성능 컴퓨터 하드웨어가 필요하다. 또한, 영상 속 인물의 표정을 학습해야 하는데, 이는 실시간으로 구현하기에는 현실적으로 어렵다.
이러한 한계에도 불구하고, 연구팀은 ExposeAnyone이 향후 딥페이크 탐지 기술 발전에 큰 도움이 될 것으로 기대하고 있다. ExposeAnyone은 차세대 딥페이크 탐지기의 시대를 열어갈 잠재력을 지니고 있다.
출처: Kaede Shiohara, 도쿄대학교 외, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026; arxiv-Preprint, doi: 10.48550/arXiv.2601.02359
[더사이언스플러스=문광주 기자]
[ⓒ the SCIENCE plus. 무단전재-재배포 금지]
