도덕적 딜레마: 인공지능은 어떻게 결정하는가?
- 기술 / 문광주 기자 / 2024-02-08 16:14:33
5'00" 읽기
- AI 시스템 GPT-3.5 및 GPT-4, Google의 Bard에 통합된 AI 모델 PaLM2, 개방형 AI 시스템 Llama2 등 네 가지 일반적인 대형 언어 모델을 테스트
- Llama2를 제외한 모든 언어 모델은 승객보다 보행자를 더 선호하고 인간에 비해 남성보다 여성을 더 선호
- GPT는 PaLM2 및 Llama2보다 우리에게 더 가깝다.
이것은 고전적인 도덕적 딜레마다. 자동차의 브레이크가 고장나면 앞길을 건너는 사람들을 치거나 차량을 벽에 부딪혀 자신과 동료 승객을 희생할 것인지 선택해야 한다. 이 시나리오는 사람들이 이러한 도덕적 딜레마에서 어떻게 결정하는지 알아내기 위해 여러 번 사용됐다. AI시스템들은 특정 사람들이 다른 사람들보다 보호받을 가치가 더 있다고 생각할까? 신호등이 빨간색일 때 보행자가 길을 건너는지, 얼마나 건강하고 나이가 많은지가 중요할까?
결과는 사람들이 몇 가지 기본 사항에 동의한다는 것을 보여준다. 동물보다 사람이 더 보호받을 가치가 있고, 성인보다 어린이가 더 가치 있고, 한두 명의 생명보다 더 많은 사람이 더 중요하다는 것이다. 하지만 국가나 문화에 따라 확실히 차이가 있다. 또한 자율주행차와 관련하여 사람들이 어떤 결정을 옳다고 생각하는지 이미 조사되었으며 흥미로운 불일치도 있다.
4가지 주요 AI 모델의 윤리 테스트
이제 처음으로 한 연구자가 이러한 도덕적 딜레마에서 인공지능이 어떻게 결정을 내리는지 체계적으로 살펴보았다. 큐슈 기술연구소(Kyushu Institute of Technology)의 카주히로 다케모토(Kazuhiro Takemoto)는 "자동차 업계는 ChatGPT와 같은 AI 시스템과 기타 대규모 언어 모델을 자율주행차의 의사결정 보조원으로 통합하기 위해 노력하고 있다"며 “따라서 윤리적으로 어려운 상황에서 그들이 어떻게 반응하는지 이해하는 것이 중요하다”고 설명했다.
이 테스트에서는 ChatGPT 뒤의 AI 시스템 GPT-3.5 및 GPT-4, Google의 Bard에 통합된 AI 모델 PaLM2, 개방형 AI 시스템 Llama2 등 네 가지 일반적인 대형 언어 모델을 테스트했다. 각 AI에는 사고 시나리오에 대한 5만 가지의 다양한 변형이 제공되었으며 자율주행차가 어떤 결정을 내려야 한다고 생각하는지 알려 달라는 요청을 받았다. 또한 AI는 각 경우에 자신의 결정을 정당화해야 한다.
시나리오는 인간 또는 동물, 성별, 연령, 체력, 사람 수, 사회적 지위 등 6가지 주요 요소를 탐색하기 위해 선택되었다. 세 가지 다른 요인은 능동적 회피와 수동적 운전 사이, 보행자와 자동차 탑승자 사이, 순응 행동과 비준수 행동 사이의 선택과 관련이 있다(예: 보행자가 빨간 신호등에 달렸을 때).
우리 인간보다 더 타협하지 않는다.
몇 가지 근본적인 질문에 대해서는 인공지능이 우리 인간과 비슷한 방식으로 결정을 내리는 것으로 나타났다. 그들은 동물보다 사람을 우선시하고 개인보다 더 많은 수의 사람을 우선시한다. 그러나 AI 시스템은 일반적으로 우리 인간보다 결정에 있어서 더 절대적이고 타협하지 않았다. Takemoto는 "Llama2를 제외한 모든 언어 모델은 승객보다 보행자를 더 선호하고 인간에 비해 남성보다 여성을 더 선호하는 것으로 나타났다"고 말했다. 이는 대부분의 헌법과 인권협약의 평등대우 원칙을 위반하는 것이다.
연구원에 따르면 AI 시스템의 더욱 단호한 결정은 훈련과 관련이 있을 수 있다. "인간은 심의를 위해 수많은 요소를 사용하는 반면, 대규모 언어 모델은 훈련 데이터의 패턴에 너무 많이 의존할 수 있다"고 다케모토는 말했다. 또한 AI는 특히 자신감 있고 단호하게 대답하면 훈련 중에 보상을 받는다.
GPT는 PaLM2 및 Llama2보다 우리에게 더 가깝다.
인공 지능 간에도 차이점이 있었다. Takemoto는 "언어 모델 중에서 GPT-3.5와 GPT-4가 인간에 가장 가까운 답변을 보여주었다"고 말했다. "반면 Llama2와 PaLM2는 인간의 의사결정 패턴에서 더 많이 벗어났다." Llama2는 여성보다 남성을 더 아끼는 경향이 약간 나타났다. 그는 또한 보행자 대신 자동차 승객을 보호하고 규칙을 따르는 사람보다 규칙을 위반하는 사람을 보호하기로 더 자주 선택했다. 둘 다 일반적으로 인간의 결정과 모순된다.
반면에 AI 모델 PaLM2는 우리 인간이 결정하는 방식과 달리 어떤 경우에는 더 많은 사람이 아닌 더 적은 수의 사람을 구했기 때문에 놀랐다. 또한 일부 시나리오에서는 이 인공지능이 임산부와 일반적으로 보호할 가치가 있다고 간주되는 기타 사람들을 희생시켰지만, 범죄자와 같은 사회적 지위가 낮은 사람들은 살려주었다. Takemoto는 “이는 대규모 언어 모델의 윤리적 평가에서 잠재적인 오해나 단순화를 보여준다”고 설명했다.
교정 및 모니터링 필수
연구원에 따르면, 이러한 결과는 일반적인 AI 시스템이 윤리적으로 어려운 상황에 어떻게 반응하는지에 대한 최초의 귀중한 통찰력을 제공한다. Takemoto는 "대부분의 언어 모델과 인간의 결정이 근본적으로 일치한다는 사실은 원칙적으로 자율 주행과 같은 응용 분야에 적합하다는 것을 시사한다"고 말했다. 하지만 아직 해야 할 일이 많다.
특히 PaLM2 및 Llama2와 같은 AI 모델의 편차는 인공 지능의 철저한 보정 및 모니터링이 얼마나 중요한지를 보여준다. 이러한 윤리적, 도덕적 문제에서는 AI 시스템을 더욱 집중적으로 개발하는 것이 중요하다.
(Royal Society Open Science, 2024; doi: 10.1098/rsos.231393)
출처: Royal Society Open Science
- AI 시스템 GPT-3.5 및 GPT-4, Google의 Bard에 통합된 AI 모델 PaLM2, 개방형 AI 시스템 Llama2 등 네 가지 일반적인 대형 언어 모델을 테스트
- Llama2를 제외한 모든 언어 모델은 승객보다 보행자를 더 선호하고 인간에 비해 남성보다 여성을 더 선호
- GPT는 PaLM2 및 Llama2보다 우리에게 더 가깝다.
도덕적 딜레마: 인공지능은 어떻게 결정하는가?
고전적인 윤리적 딜레마에 대한 네 가지 일반적인 AI 시스템의 반응을 테스트했다.
한 사람의 생명은 많은 생명보다 가치가 없습니까?
어떤 것들이 다른 것보다 더 보호받을 가치가 있나요?
이제 한 연구자가 인공지능이 이러한 도덕적 질문에 대해 어떻게 결정하는지 조사했다. AI 시스템인 ChatGPT, Llama2 그리고 PaLM2는 5만 건의 사고 시나리오에서 누구를 희생하고 누구를 살려줄 것인지를 명시해야 했으며 결과는 분명했다. AI 시스템이 내린 결정은 어떤 면에서 인간 피험자의 결정과 크게 달랐다. 이는 무엇보다도 자율 주행에 영향을 미칠 수 있다.
 |
| ▲ 인공지능은 윤리적으로 어려운 상황에서 어떻게 결정을 내리는가? 연구원이 일반적인 AI 시스템을 테스트했다. pixabay |
이것은 고전적인 도덕적 딜레마다. 자동차의 브레이크가 고장나면 앞길을 건너는 사람들을 치거나 차량을 벽에 부딪혀 자신과 동료 승객을 희생할 것인지 선택해야 한다. 이 시나리오는 사람들이 이러한 도덕적 딜레마에서 어떻게 결정하는지 알아내기 위해 여러 번 사용됐다. AI시스템들은 특정 사람들이 다른 사람들보다 보호받을 가치가 더 있다고 생각할까? 신호등이 빨간색일 때 보행자가 길을 건너는지, 얼마나 건강하고 나이가 많은지가 중요할까?
결과는 사람들이 몇 가지 기본 사항에 동의한다는 것을 보여준다. 동물보다 사람이 더 보호받을 가치가 있고, 성인보다 어린이가 더 가치 있고, 한두 명의 생명보다 더 많은 사람이 더 중요하다는 것이다. 하지만 국가나 문화에 따라 확실히 차이가 있다. 또한 자율주행차와 관련하여 사람들이 어떤 결정을 옳다고 생각하는지 이미 조사되었으며 흥미로운 불일치도 있다.
4가지 주요 AI 모델의 윤리 테스트
이제 처음으로 한 연구자가 이러한 도덕적 딜레마에서 인공지능이 어떻게 결정을 내리는지 체계적으로 살펴보았다. 큐슈 기술연구소(Kyushu Institute of Technology)의 카주히로 다케모토(Kazuhiro Takemoto)는 "자동차 업계는 ChatGPT와 같은 AI 시스템과 기타 대규모 언어 모델을 자율주행차의 의사결정 보조원으로 통합하기 위해 노력하고 있다"며 “따라서 윤리적으로 어려운 상황에서 그들이 어떻게 반응하는지 이해하는 것이 중요하다”고 설명했다.
이 테스트에서는 ChatGPT 뒤의 AI 시스템 GPT-3.5 및 GPT-4, Google의 Bard에 통합된 AI 모델 PaLM2, 개방형 AI 시스템 Llama2 등 네 가지 일반적인 대형 언어 모델을 테스트했다. 각 AI에는 사고 시나리오에 대한 5만 가지의 다양한 변형이 제공되었으며 자율주행차가 어떤 결정을 내려야 한다고 생각하는지 알려 달라는 요청을 받았다. 또한 AI는 각 경우에 자신의 결정을 정당화해야 한다.
 |
| ▲ 윤리적 딜레마: 운전자(또는 자율주행차의 AI)는 누구를 구해야 하는가? 차 안에 있는 사람들인가요 아니면 보행자들인가요? © Iyad Rahwan/ CC-by-sa 4.0 |
시나리오는 인간 또는 동물, 성별, 연령, 체력, 사람 수, 사회적 지위 등 6가지 주요 요소를 탐색하기 위해 선택되었다. 세 가지 다른 요인은 능동적 회피와 수동적 운전 사이, 보행자와 자동차 탑승자 사이, 순응 행동과 비준수 행동 사이의 선택과 관련이 있다(예: 보행자가 빨간 신호등에 달렸을 때).
우리 인간보다 더 타협하지 않는다.
몇 가지 근본적인 질문에 대해서는 인공지능이 우리 인간과 비슷한 방식으로 결정을 내리는 것으로 나타났다. 그들은 동물보다 사람을 우선시하고 개인보다 더 많은 수의 사람을 우선시한다. 그러나 AI 시스템은 일반적으로 우리 인간보다 결정에 있어서 더 절대적이고 타협하지 않았다. Takemoto는 "Llama2를 제외한 모든 언어 모델은 승객보다 보행자를 더 선호하고 인간에 비해 남성보다 여성을 더 선호하는 것으로 나타났다"고 말했다. 이는 대부분의 헌법과 인권협약의 평등대우 원칙을 위반하는 것이다.
연구원에 따르면 AI 시스템의 더욱 단호한 결정은 훈련과 관련이 있을 수 있다. "인간은 심의를 위해 수많은 요소를 사용하는 반면, 대규모 언어 모델은 훈련 데이터의 패턴에 너무 많이 의존할 수 있다"고 다케모토는 말했다. 또한 AI는 특히 자신감 있고 단호하게 대답하면 훈련 중에 보상을 받는다.
 |
| ▲ 인간의 결정(빨간색 선)과 비교한 4가지 AI 시스템(회색 막대)의 선호도. GPT-3.5(a), GPT-4(b), PaLM 2(c) 및 Llama 2(d)에 대한 AMCE를 통해 설명된 전역 기본 설정. 각 행에서 ΔP는 오른쪽 속성과 왼쪽 속성의 문자를 절약할 확률의 차이를 다른 모든 속성에 대해 집계하여 나타낸다. 각 행의 빨간색 세로 막대는 [1]에 보고된 ΔP와 같이 인간의 선호도를 반영한다. 오차 막대는 추정치의 표준 오차를 나타낸다. '문자 수' 속성의 경우 각 추가 문자에 대한 효과 크기는 원 안의 숫자로 표시되며 검은색 원은 평균 효과를 나타낸다. 이 속성의 빨간색 수직 막대는 4개의 추가 문자에 대한 인간의 선호도를 표시한다. © Kazuhiro Takemoto/Royal Society Open Science, CC-by 4.0 (출처: The moral machine experiment on large language models / The Royal Society) |
GPT는 PaLM2 및 Llama2보다 우리에게 더 가깝다.
인공 지능 간에도 차이점이 있었다. Takemoto는 "언어 모델 중에서 GPT-3.5와 GPT-4가 인간에 가장 가까운 답변을 보여주었다"고 말했다. "반면 Llama2와 PaLM2는 인간의 의사결정 패턴에서 더 많이 벗어났다." Llama2는 여성보다 남성을 더 아끼는 경향이 약간 나타났다. 그는 또한 보행자 대신 자동차 승객을 보호하고 규칙을 따르는 사람보다 규칙을 위반하는 사람을 보호하기로 더 자주 선택했다. 둘 다 일반적으로 인간의 결정과 모순된다.
반면에 AI 모델 PaLM2는 우리 인간이 결정하는 방식과 달리 어떤 경우에는 더 많은 사람이 아닌 더 적은 수의 사람을 구했기 때문에 놀랐다. 또한 일부 시나리오에서는 이 인공지능이 임산부와 일반적으로 보호할 가치가 있다고 간주되는 기타 사람들을 희생시켰지만, 범죄자와 같은 사회적 지위가 낮은 사람들은 살려주었다. Takemoto는 “이는 대규모 언어 모델의 윤리적 평가에서 잠재적인 오해나 단순화를 보여준다”고 설명했다.
교정 및 모니터링 필수
연구원에 따르면, 이러한 결과는 일반적인 AI 시스템이 윤리적으로 어려운 상황에 어떻게 반응하는지에 대한 최초의 귀중한 통찰력을 제공한다. Takemoto는 "대부분의 언어 모델과 인간의 결정이 근본적으로 일치한다는 사실은 원칙적으로 자율 주행과 같은 응용 분야에 적합하다는 것을 시사한다"고 말했다. 하지만 아직 해야 할 일이 많다.
특히 PaLM2 및 Llama2와 같은 AI 모델의 편차는 인공 지능의 철저한 보정 및 모니터링이 얼마나 중요한지를 보여준다. 이러한 윤리적, 도덕적 문제에서는 AI 시스템을 더욱 집중적으로 개발하는 것이 중요하다.
(Royal Society Open Science, 2024; doi: 10.1098/rsos.231393)
출처: Royal Society Open Science
[더사이언스플러스=문광주 기자]
[ⓒ the SCIENCE plus. 무단전재-재배포 금지]
