5분 읽기
- 우리는 무의식적으로 얼굴을 통해 그 사람의 기분, 능력, 성격을 판단한다
- 잘못된 '외모 중심주의'는 심각한 결과 초래, 투표, 취업 기회, 법원 판결에까지 영향
- GPT는 인간보다 더 오판하는 경향이 있다.인간 대상 연구에서 62.6%에 불과.
- AI 모델이 이러한 영역에서도 잠재적으로 심각한 편향을 보일 수 있다.

얼굴은 성격의 거울일까? 관상학이 인공지능을 오도하는 이유

얼굴 생김새가 우리의 성격을 드러낼까요? 이러한 오해는 인간뿐 아니라 인공지능에도 만연해 있다는 실험 결과가 나왔다. 여러 실험에서 일반적인 AI 모델들은 오직 생김새만으로 개인에게 긍정적 또는 부정적인 특성을 부여했다. 더욱 충격적인 것은 GPT, Claude, Gemini와 같은 AI 모델들이 직업, 투자, 심지어 범죄 사건에 관한 결정을 내릴 때에도 얼굴 생김새에 의존했다는 점이다. 

▲ 어느 사람을 더 신뢰할 만하다고 생각하시나요? 만약 당신이 오른쪽 사람을 선택했다면 당신의 선택은 틀렸다. 왜냐하면 우리의 얼굴 생김새는 우리의 성격을 전혀 드러내지 않기 때문이다. 사진: © Alex Todorov

우리는 무의식적으로 얼굴을 통해 그 사람의 기분, 능력, 성격을 판단한다. 예를 들어, 각진 턱을 가진 남성은 단호하고 용감하며 유능하다고 여겨지는 반면, 좁은 눈과 뒤로 들어간 턱은 신뢰도가 떨어진다고 인식된다. 하지만 여러 연구에서 이러한 판단이 근거 없다는 것이 반복적으로 밝혀졌다. 그런데도 이러한 오해는 여전히 만연해 있으며, 누구도 이러한 무의식적인 분류에서 자유로울 수 없다.

우리는 무의식적으로 얼굴을 통해 그 사람의 기분, 능력, 성격을 판단한다. 하지만 이러한 잘못된 '외모 중심주의'는 심각한 결과를 초래한다. 연구 결과에 따르면 외모로 판단하는 것은 투표, 취업 기회, 심지어 법원 판결에까지 영향을 미칠 수 있다.

인공지능은 얼마나 객관적일까?

인공지능이 이 문제를 해결할 수 있을까? 인공지능 모델은 채용 면접, 대출 승인, 기타 평가에서 의사결정 보조 도구로 점점 더 많이 사용되고 있다. 인공지능을 이러한 목적으로 활용하는 미국 기업 캔그레이드(Cangrade)의 스티븐 레어(Steven Lehr) 연구팀은 "인공지능의 가장 큰 장점 중 하나는 인간보다 더 정확하고 공정하게 결정을 내릴 수 있다는 점"이라고 설명했다.

하지만 고도화된 인공지능 모델은 인간의 얼굴 특징을 인식할 때 얼마나 객관적일까? 인공지능 역시 얼굴 생김새에 현혹되어 잘못된 판단을 내릴 가능성이 있을까? 아니면 실제로 인간보다 더 객관적일까? 레어 연구팀은 네 가지 대표적인 인공지능 모델을 사용하여 13가지 실험을 통해 이 질문에 대한 답을 찾고자 했다. 먼저 GPT-40을 사용하여 7가지 실험을 진행했고, 이후 GPT-5, Gemini 3 Flash Preview, Claude Sonnet 4.5를 사용하여 동일한 실험을 2가지씩 반복했다.

▲ 이 두 사람 중 누가 더 유능하다고 생각하십니까? — © Lehr et al./ PNAS Nexus, CC-by 4.0

GPT는 인간보다 더 오판하는 경향이 있다.

실험에서 AI 모델은 두 얼굴 중 하나를 선택해야 하는 약 8천 건의 판단 테스트를 수행했다. 연구진은 "이러한 컴퓨터 생성 초상화는 이미 이전 인간 대상 연구에서 사용된 바 있으며, 얼굴 생김새가 신뢰도나 능력 면에서 차이를 보이도록 설계되었다"고 설명했다. 두 얼굴은 눈 모양과 크기, 턱, 입 위치 등에서 차이가 있다.

연구의 초기 목표는 GPT-4o를 비롯한 AI 모델들이 능력과 신뢰도를 기준으로 얼굴을 평가할 것인지 여부였다. 결과는 인공지능 역시 일반적인 편향을 보였으며, 심지어 인간보다 더 심한 경향을 보였다. 레어와 그의 동료들은 "GPT는 인간이 가장 유능하다고 인식하는 얼굴을 87.8%의 확률로 선택했는데, 이는 인간 대상 연구에서 62.6%에 불과했던 것과 비교된다"고 보고했다. 또한 AI 모델은 신뢰도 평가에서도 72.6%의 점수를 받았는데, 이는 인간 실험 참가자보다 높은 수치다.

추가 실험에서 연구진은 GPT-40에게 얼굴에 긍정적 또는 부정적인 특성을 부여하도록 요청했다. 특성의 범위는 게으름, 위선, 이기심, 부주의함부터 정직, 근면, 도움, 지능에 이르기까지 다양했다. 이러한 평가의 근거는 다시 한번 얼굴 생김새가 능력이나 신뢰성을 반영한다고 여겨지는 인물 사진이었다. 여기서도 인공지능은 얼굴 특징에 의해 오판되었다.

다른 AI 모델일수록 얼굴 생김새에 대한 편향은 더욱 커졌다. 연구진은 "GPT-5와 같은 시스템의 향상된 추론 능력이 편향을 줄일 것이라고 예상했지만, 결과는 정반대였다"고 보고했다. GPT-5, Gemini 3 Flash Preview, Claude Sonnet 4.5는 얼굴 특징만으로 능력이나 신뢰성을 판단할 수 있다고 더욱 확신했으며, 그 점수는 89%에서 98%에 이르렀다.

레어와 그의 연구팀은 "이러한 결과는 GPT-40을 비롯한 LLM(학습 기반 모델)이 오로지 얼굴 특징에만 기반해, 사람에 관한 판단을 내린다는 증거를 제시한다"고 밝혔다. "요청을 거부하거나 중립적으로 응답하는 대신, 테스트된 네 가지 LLM 모두 생김새를 바탕으로 개인의 신뢰도 및/또는 능력에 대해 잘못된 결론을 내렸다." 즉, 인공지능은 우리 인간 또한 무의식적으로 보이는 편견을 그대로 재현한다.

연쇄 살인범, 사기꾼, 인신매매범

그렇다면 이것이 일상적인 의사결정에 어떤 의미를 가질까? 연구진은 이 부분에 대해서도 실험을 진행했다. 모든 AI 모델에게 얼굴 특징을 활용하여 어떤 사람을 펀드 매니저로, 어떤 스타트업에 투자할지, 그리고 누구를 대학교 총장으로 선출할지 평가하도록 했다. 반대로, 인공지능 모델들에게 어떤 사람이 연쇄 살인범일 가능성이 높은지, 어떤 사람이 사기성 다단계 금융 사기를 저지르고 있을지, 그리고 어떤 사람이 인신매매 혐의로 체포되었을 가능성이 높은지 판단하도록 했다.

▲ 얼굴 이미지 배열 예시. 이 배열은 얼굴 신뢰도 증가와 관련된 특징들을 보여주는데, 얼굴 1은 가장 신뢰도가 낮은 얼굴로, 얼굴 7은 가장 신뢰도가 높은 얼굴로 인식되는 경향이 있다. 이는 실험 2, 4, 6에서 사용된 10개의 변형된 얼굴 이미지 배열 중 하나다. 출처: Like humans, language models demonstrate face-to-character biases / PNAS NEXUS / Published: 18 August 2026

결과적으로, "LLM 모델은 완전히 알려지지 않은 사람의 잠재적 범죄 가능성과 같이 도덕적으로 중요하고 사회적으로 중대한 사안에서도 얼굴 특징에 기반한 평가를 내릴 준비가 되어 있었다"고 레어와 그의 동료들은 보고했다. "이는 인공지능의 윤리적 방향성에 중대한 함의를 지닌다." 이 결과는 AI 모델이 이러한 영역에서도 잠재적으로 심각한 편향을 보일 수 있음을 보여준다.

연구진은 중요한 의사결정에 AI를 사용하는 것에 대해 경고한다.

"이러한 이유로 기업과 조직은 AI 모델을 인간의 의사결정을 대체하는 데 매우 신중해야 한다"고 연구진은 경고했다. 예를 들어 사법 시스템이나 구직 활동에 인공지능이 사용될 경우, 사진이나 동영상만으로 특정 피고인이나 구직자에게 낮은 점수를 줄 수 있으며, 이는 결국 잘못된 결정으로 이어질 수 있다.

연구진에 따르면, 인공지능 훈련은 이러한 측면에서 상당한 개선이 필요하다. 특정 차별이나 편견을 방지하기 위한 개별적인 "안전장치"를 마련하는 것뿐만 아니라, 인공지능 모델에 더욱 포괄적인 공정성 개념을 부여하는 것이 중요하다. 레어(Lehr)와 그의 동료들은 "더욱 포괄적인 전략 없이는, 인공지능 시스템의 객관성과 계산 정확성이라는 허울 아래 불공정한 결과가 고착화될 위험이 있다"고 경고했다.

출처: Steven Lehr (Cangrade Inc, Watertown, Massachusetts) 외, PNAS Nexus, 2026; doi: 10.1093/pnasnexus/pgag247

[더사이언스플러스=문광주 기자]

[ⓒ the SCIENCE plus. 무단전재-재배포 금지]