3'00" 읽기
AI 시스템 GPT 등은 만화 자막 테스트에서 인간에게 (여전히) 지고 있다.

인공 지능은 유머를 이해할까
AI 시스템 GPT 등은 만화 자막 테스트에서 인간에게 (여전히) 지고 있다.

제한된 유머:
ChatGPT와 같은 AI 시스템은 농담을 할 수 있지만, 인간의 유머를 얼마나 잘 이해할까? 연구자들은 관련 "원라이너"가 있는 만화를 예로 사용하여 이를 테스트했다. 결과, AI 시스템은 경우에 따라 텍스트와 이미지를 올바르게 할당하고 코미디가 있는 위치를 설명할 수 있었다. 그러나 전반적으로 GPT-4조차도 인간 테스트 대상보다 더 나빴다. 암묵적인 유머를 인식하는 데 있어서 인공 지능은 여전히 ​​우리보다 뒤떨어져 있다. 

▲ AI 시스템은 유머 감각이 있을까? © Caitlin Cook/Cornell University

상황 코미디, 말장난 또는 풍자적 만화:
유머를 이해하는 것은 종종 그렇게 간단하지 않다. 많은 경우에 우리는 상자 밖에서 생각하고 단어의 이중 의미와 같은 언어적 특성을 알고 사회적 맥락을 이해해야 한다. 이를 위해 인공지능이 얼마나 잘 갖춰져 있는지 의문이 제기된다. ChatGPT와 같은 AI 시스템은 설득력 있는 텍스트, 이미지 및 농담을 생성할 수 있다. 그러나 일반적인 가정에 따르면 생성 AI는 콘텐츠에 대한 진정한 이해가 부족하다.

테스트 케이스로서의 만화

Allen Institute for AI의 잭 헤셀(Jack Hessel)과 그의 동료들은 인공 지능의 유머 감각이 어디까지 가는지 조사했다. 테스트를 위해 그들은 미국 잡지 "The New Yorker"의 소위 "만화 캡션 콘테스트"를 완료하는 다양한 AI 시스템을 가지고 있었다. 이를 위한 출발점은 수반되는 인용문이나 문장으로 묘사된 내용의 맥락에서 유머를 이끌어내는 만화다.

만화 중 하나의 예:
그림은 전형적인 회의실을 보여준다. 테이블에 앉아 있는 사람들은 서로 다른 동물 머리를 가지고 있다. 첨부된 텍스트는 회의 참가자 중 한 사람의 진술이다. 과장된 만화 캐리커처 이 업계에서 수익 창출 및 은폐에 대한 일반적인 가정을 없애십시오.

그림과 어울리는 문장은?

과제는 제안된 5개의 첨부 문장 중에서 그림에 가장 잘 맞는 문장을 선택한 다음 요점이 있는 짧은 텍스트로 설명하는 것이었다. "뉴요커 만화의 흥미로운 점은 이미지와 그에 수반되는 문구 사이의 연결이 간접적이고 유쾌하다는 것이다"며 “인간의 경험, 규범 및 문화에 대한 많은 언급이 포함되어 있다. 따라서 이러한 관계를 이해하려면 더 복잡한 사고 기술이 필요하다”고 헤셀은 설명했다.

각각 5개의 텍스트가 포함된 705개의 서로 다른 만화가 테스트를 위한 입력으로 사용되었다. 이미지를 인식하고 해석할 수 있는 3개의 AI 시스템(CLIP, OFA, T5-Large)과 3개의 주요 언어 모델 GPT-3, GPT-3.5 및 GPT-4가 테스트를 완료했다. 후자는 이미지 대신 만화에 묘사된 내용에 대한 중립적인 설명을 받았다.

AI 시스템은 여전히 ​​뒤처져 있다.

그 결과 첨부된 문장을 할당할 때 이미지를 기반으로 한 AI 시스템은 62%의 적중률을 달성했다. 반면에 인간 실험 대상은 94%의 시간 동안 올바른 동반자 실험을 식별할 수 있었다고 팀은 보고했다. 대규모 언어 모델의 경우 모델 크기가 증가함에 따라 명확한 추세가 있었다. 초기 버전 GPT-3은 텍스트 줄의 약 57%만 올바르게 할당한 반면 GPT-4는 거의 85%를 달성했다.

"우리의 결과는 인공 지능과 유머에 대한 인간의 이해 사이의 격차를 드러낸다"고 Hessel과 그의 동료들은 말했다. 이것은 핵심 설명의 설명에도 반영되었다. 리뷰어는 설명의 정확성과 품질 측면에서 텍스트가 사람에게서 나온 것인지 기계에서 나온 것인지 알지 못한 채 평가했다. 결과는 다음과 같다. "사례의 2/3 이상에서 사람의 설명이 선호되었다.“

그렇지만 놀라운 결과

이것은 인공 지능이 유머와 관련해 여전히 배워야 할 한 가지가 있음을 분명히 한다. 그럼에도 불구하고 Hessel과 그의 동료들이 강조하듯이 그들은 이미 상당한 능력을 보여주고 있다. "현재 AI 시스템의 제한된 용량조차도 이미 상당하며, 예를 들어 아이디어를 브레인스토밍할 때 유머 작가나 만화가를 위한 창의적인 도우미로 이러한 모델을 사용하기에 충분할 수 있다.”
(61st annual meeting of the Association for Computational Linguistics, 2023; Abstract) (전산 언어학 협회 61차 연례 회의) , 2023 ; 초록)
출처: Cornell University

[더사이언스플러스=문광주 기자]

[ⓒ the SCIENCE plus. 무단전재-재배포 금지]