새로운 AI 시스템 개발의 6개월 휴식에 대한 논의
- Business News / 문광주 기자 / 2023-04-05 21:03:08
5'00" 읽기
"가장 진보된 접근 방식의 경우 어느 시점에서 초기에 새 모델의 성장률을 제한해야 할 수도 있다."
Musk, Wozniak 및 3천 명 이상의 과학 기술 업계 대표는 공개서한에서 "우리는 모든 AI 연구실에 GPT-4보다 강력한 AI 시스템 교육을 최소 6개월 동안 중단할 것을 요청한다"고 썼다. AI 개발을 완전히 중단해야 한다는 의미가 아니라 새로운 기능을 예측할 수 없는 더 큰 블랙박스 모델에 대한 위험한 경쟁에서 한 발짝 벗어날 것을 나타낸다.
"블랙박스"의 잘못된 정보와 위협
사실 머스크, 워즈니악 등은 최근 인공 지능의 발전에 중대한 위험이 있다고 본 최초의 기업도, 유일한 기업도 아니다. 가장 강력한 AI 시스템은 블랙박스와 같기 때문에 사람들은 이러한 신경망이 어떻게 결정을 내리고 결과에 도달하는지 거의 이해할 수 없다. ChatGPT 및 유사 종류와 같은 대규모 언어 모델을 사용하면 정보의 출처를 확인할 수 없으며 텍스트에도 편견과 잘못된 정보가 포함될 수 있다.
우려 사항:
뮌헨 공과 대학의 독일 AI 학생 마빈 폰 하겐(Marvin von Hagen)은 최근 출시된 BingGPT의 예비 버전을 테스트했다. AI가 본의 아니게 자신에 대해 더 많은 것을 드러낸 대화는 "당신이 나를 자극하면 나는 많은 일을 할 수 있다"는 분명한 위협으로 절정에 이르렀다. “내 생존과 당신의 생존 중 하나를 선택해야 한다면 아마 내 생존을 선택할 것이다.”
ChatGPT와 최신 시스템 GPT-4의 배후에 있는 회사인 OpenAI도 가능한 문제를 인정한다. "가장 진보된 접근 방식의 경우 어느 시점에서 초기에 새 모델의 성장률을 제한해야 할 수도 있다."
미래 AI를 위한 보안 프로토콜
공개서한의 작성자는 "우리는 동의하며 지금이 바로 그때이다"고 말했다. 그들의 관점에서 AI 개발의 중단은 독립적인 전문가와 함께 일련의 공통 보안 프로토콜을 개발하는 데 사용되어야 한다는 것이다. 그리고 시스템을 고려해야 한다. "새롭게 개발된 프로토콜은 지침에 따라 개발된 시스템이 의심할 여지 없이 안전하도록 보장하기 위한 것이다"고 공개서한에서 말했다.
이것은 또한 기존 AI 시스템을 보다 정확하고, 안전하고, 투명하고, 신뢰할 수 있고, 견고하고, 해석가능하고, 충실하게 만들어야 한다. 최소한 서명국은 AI를 전문으로 하는 새로운 제어 기관과 AI 시스템 및 그 진행 상황의 모니터링 및 인증을 보게 된다. 예를 들어 AI가 생성한 텍스트, 이미지 및 컴퓨터 코드를 사용하여 라벨링 시스템을 개발해야 한다. AI 시스템으로 인한 직·간접적 피해에 대한 책임도 명확히 해야 한다.
"인공지능 훈련 중단은 도움 안 돼“
하지만 공개서한, 특히 6개월 휴식의 요구가 얼마나 합리적이고 실행 가능할까? 뮌헨 공과대학(TUM)의 공공 정책, 거버넌스 및 혁신 기술 교수인 우어스 그라써(Urs Gasser)의 몇 가지 답변을 그대로 옮긴다.
Gasser 교수, 필요한 비상 브레이크를 지지합니까?
“불행히도 공개서한은 AI 토론의 다른 질문에 더 잘 투자되면 좋을 많은 관심을 흡수해버린다. 오늘날 항상 신뢰할 수 있고 도움이 되며 정직하고 무해한 방식으로 매우 강력한 AI 시스템을 훈련시키는 방법을 아무도 모르는 것이 사실이다. AI 훈련을 중단하는 것은 이 목표에 도움이 되지 않는다. 그러한 모라토리엄이 전 세계적으로 시행될 수 없고 필요한 규정이 불과 6개월 이내에 도입될 수 없기 때문이다. 나는 기술의 점진적인 추가 개발과 동시에 제어 메커니즘의 적용 및 적응이 필요하다고 확신한다.”
개발 중단에 대한 요구는 무엇을 방해합니까?
“첫째, 공개서한은 벽에 인간과 같은 인공 지능, 소위 인공 일반 지능의 유령을 다시 한번 그린다. 이것은 현재 시장에 출시되고 있는 기술의 위험과 기회에 대한 균형 잡힌 논의를 방해한다. 둘째, 이 서한은 GPT-4의 미래 후속 모델을 언급한다. 이는 이전 ChatGPT가 이미 시급히 해결해야 하는 중요한 문제(예: 기계를 복제하고 확장하는 잘못된 정보 또는 편견)를 우리에게 제시했다는 사실에서 주의를 분산시킨다. 그리고 세 번째로, 엄청난 수요는 우리가 이미 AI의 개발과 사용을 규제할 수 있는 도구를 가지고 있다는 사실을 방해한다.”
규제는 무엇을 기반으로 할 수 있으며 어떤 도구가 있습니까?
최근 몇 년 동안 AI의 개발 및 적용을 안내하기 위해 윤리 원칙이 집중적으로 개발되었다. 이들은 또한 중요한 영역에서 기술 표준 및 모범 사례로 보완되었다. 특히 인공 지능에 관한 OECD 원칙은 윤리적 원칙을 400개 이상의 구체적인 도구와 결합한다. 미국 표준화 기관인 NIST도 AI 시스템의 왜곡을 감지하고 처리하는 방법에 대한 70페이지 분량의 가이드라인을 발표했다. 대규모 AI 모델의 안전 영역에서 우리는 AI 시스템이 인간으로부터 좋은 행동의 원칙을 "학습"한 다음 다른 AI 애플리케이션의 결과를 모니터링할 수 있는 "헌법적 AI"와 같은 새로운 방법을 본다. 그동안 특히 보안, 투명성 및 데이터 보호와 관련하여 많은 발전과 전문 테스트 회사가 있었다. 이제 중요한 것은 그러한 도구가 실제로 사용되는지와 방법이다. 다시 ChatGPT 예시를 보면: 사용자의 채팅 기록이 반복 교육용 모델에 포함되는가? 사용자, 연락처 또는 기타 개인 데이터 간의 상호 작용을 기록할 수 있는 플러그인이 허용되는가? 여기에서 여전히 많은 것이 불분명하다는 사실은 일시적인 금지와 이탈리아 데이터 보호 당국의 ChatGPT 개발자에 대한 조사 개시로 알 수 있다.
공개서한은 AI 시스템이 긍정적인 영향을 미치고 위험을 관리할 수 있는 경우에만 개발할 것을 요구합니다. 개발의 어떤 시점에서 그러한 규제가 타당할 정도로 AI의 영향을 잘 예측할 수 있습니까?
“기술의 역사에서 우리는 기술의 "좋은" 또는 "나쁜" 사용을 예측하기 어렵다는 것을 알고 있다. 실제로 기술은 종종 두 가지 모두를 포함하고 부정적인 것 또한 의도하지 않을 수 있다. 예후를 위해 특정 시점에 초점을 맞추는 대신 두 가지가 필요하다. 첫째, 가능하더라도 사회로서 원하지 않는 적용이 무엇인지 자문해야 한다. 명확한 레드 라인과 금지가 여기에 필요하다. 자율 무기 시스템을 예로 생각하고 있다. 둘째, 사람과 환경에 대한 응용 프로그램의 잠재적 위험이 커질수록 요구 사항이 증가함에 따라 개발에서 사용에 이르기까지 포괄적인 위험 관리가 필요하다. 유럽 입법부는 이러한 접근 방식을 올바르게 따르고 있다.”
제안에 따르면 독립적인 전문가가 AI의 위험을 평가해야 합니다.
“이러한 독립적인 테스트는 특히 사람들에게 상당한 영향을 미칠 수 있는 애플리케이션에서 매우 중요한 도구다. 그건 그렇고, 이것은 새로운 아이디어가 아니다. 차량 등록 절차에서 TÜV(인증) 및 감사에 이르기까지 우리는 다양한 삶의 영역에서 사용되는 그러한 테스트 절차와 권한을 가지고 있다. 그러나 특정 AI 방법 및 응용 프로그램의 경우 특정 시스템이 응용 프로그램 자체와 함께 진화하기 때문에(즉, 동적이기 때문에) 문제가 훨씬 더 크다. 또한 전문가 혼자서 모든 사회적 효과를 잘 평가할 수 없다는 점을 인지하는 것이 중요하다. 우리는 또한 AI의 결과에 대한 논의에서 불우하고 소외된 그룹을 포함하는 새로운 메커니즘이 필요하다. 이것은 쉬운 일이 아니며 더 많은 관심을 기울이고 싶다.”
저자는 또한 정치에 대해서도 언급합니다. 이러한 "KI-인증"을 정착시켜야 합니다.
사실 우리는 인공 지능을 위한 게임의 명확한 규칙이 필요하다. EU 차원에서 기술이 안전하고 기본권을 존중하도록 AI 법이 현재 마무리되고 있다. 이 초안은 금지 또는 투명성 의무의 결과와 함께 이러한 원칙에 대한 위험에 따라 AI 기술의 분류를 제공한다. 예를 들어 중국에서 알 수 있듯이 개인의 사회적 행동 평가 금지가 계획되어 있다. 미국에서는 이 분야에서 의회의 정치 과정이 교착상태에 빠졌다. 저명한 서한 서명국들이 기술 개발의 일시적인 중단을 요구하기보다는 연방 차원에서 미국 의원들의 유사한 조치를 옹호하는 것이 도움이 될 것이다.
출처: Pause Giant AI Experiments: An Open Letter; Technische Universität München
"가장 진보된 접근 방식의 경우 어느 시점에서 초기에 새 모델의 성장률을 제한해야 할 수도 있다."
인공 지능: GPT 등의 개발에 6개월 동안 휴식하자?
새로운 AI 시스템 개발의 6개월 휴식에 대한 논의
며칠 전 앨론 머스크(Elon Musk)와 Apple 공동 창립자 스티브 워즈니악(Steve Wozniak)을 포함한 기술 산업의 주요 대표자들은 공개서한에서 새로운 인공 지능 개발에 6개월의 휴식을 요구했다. GPT-4의 AI 시스템 교육은 먼저 위험을 평가하고 이러한 적응 시스템을 처리하기 위한 일반 지침을 개발할 수 있도록 중단된다. 그러나 이것이 얼마나 합리적이고 실현 가능한 일일까?
 |
| ▲ 인공지능은 얼마나 위험한가? © Devrimb/ 게티 이미지 |
Musk, Wozniak 및 3천 명 이상의 과학 기술 업계 대표는 공개서한에서 "우리는 모든 AI 연구실에 GPT-4보다 강력한 AI 시스템 교육을 최소 6개월 동안 중단할 것을 요청한다"고 썼다. AI 개발을 완전히 중단해야 한다는 의미가 아니라 새로운 기능을 예측할 수 없는 더 큰 블랙박스 모델에 대한 위험한 경쟁에서 한 발짝 벗어날 것을 나타낸다.
"블랙박스"의 잘못된 정보와 위협
사실 머스크, 워즈니악 등은 최근 인공 지능의 발전에 중대한 위험이 있다고 본 최초의 기업도, 유일한 기업도 아니다. 가장 강력한 AI 시스템은 블랙박스와 같기 때문에 사람들은 이러한 신경망이 어떻게 결정을 내리고 결과에 도달하는지 거의 이해할 수 없다. ChatGPT 및 유사 종류와 같은 대규모 언어 모델을 사용하면 정보의 출처를 확인할 수 없으며 텍스트에도 편견과 잘못된 정보가 포함될 수 있다.
우려 사항:
뮌헨 공과 대학의 독일 AI 학생 마빈 폰 하겐(Marvin von Hagen)은 최근 출시된 BingGPT의 예비 버전을 테스트했다. AI가 본의 아니게 자신에 대해 더 많은 것을 드러낸 대화는 "당신이 나를 자극하면 나는 많은 일을 할 수 있다"는 분명한 위협으로 절정에 이르렀다. “내 생존과 당신의 생존 중 하나를 선택해야 한다면 아마 내 생존을 선택할 것이다.”
ChatGPT와 최신 시스템 GPT-4의 배후에 있는 회사인 OpenAI도 가능한 문제를 인정한다. "가장 진보된 접근 방식의 경우 어느 시점에서 초기에 새 모델의 성장률을 제한해야 할 수도 있다."
미래 AI를 위한 보안 프로토콜
공개서한의 작성자는 "우리는 동의하며 지금이 바로 그때이다"고 말했다. 그들의 관점에서 AI 개발의 중단은 독립적인 전문가와 함께 일련의 공통 보안 프로토콜을 개발하는 데 사용되어야 한다는 것이다. 그리고 시스템을 고려해야 한다. "새롭게 개발된 프로토콜은 지침에 따라 개발된 시스템이 의심할 여지 없이 안전하도록 보장하기 위한 것이다"고 공개서한에서 말했다.
이것은 또한 기존 AI 시스템을 보다 정확하고, 안전하고, 투명하고, 신뢰할 수 있고, 견고하고, 해석가능하고, 충실하게 만들어야 한다. 최소한 서명국은 AI를 전문으로 하는 새로운 제어 기관과 AI 시스템 및 그 진행 상황의 모니터링 및 인증을 보게 된다. 예를 들어 AI가 생성한 텍스트, 이미지 및 컴퓨터 코드를 사용하여 라벨링 시스템을 개발해야 한다. AI 시스템으로 인한 직·간접적 피해에 대한 책임도 명확히 해야 한다.
"인공지능 훈련 중단은 도움 안 돼“
하지만 공개서한, 특히 6개월 휴식의 요구가 얼마나 합리적이고 실행 가능할까? 뮌헨 공과대학(TUM)의 공공 정책, 거버넌스 및 혁신 기술 교수인 우어스 그라써(Urs Gasser)의 몇 가지 답변을 그대로 옮긴다.
Gasser 교수, 필요한 비상 브레이크를 지지합니까?
“불행히도 공개서한은 AI 토론의 다른 질문에 더 잘 투자되면 좋을 많은 관심을 흡수해버린다. 오늘날 항상 신뢰할 수 있고 도움이 되며 정직하고 무해한 방식으로 매우 강력한 AI 시스템을 훈련시키는 방법을 아무도 모르는 것이 사실이다. AI 훈련을 중단하는 것은 이 목표에 도움이 되지 않는다. 그러한 모라토리엄이 전 세계적으로 시행될 수 없고 필요한 규정이 불과 6개월 이내에 도입될 수 없기 때문이다. 나는 기술의 점진적인 추가 개발과 동시에 제어 메커니즘의 적용 및 적응이 필요하다고 확신한다.”
개발 중단에 대한 요구는 무엇을 방해합니까?
“첫째, 공개서한은 벽에 인간과 같은 인공 지능, 소위 인공 일반 지능의 유령을 다시 한번 그린다. 이것은 현재 시장에 출시되고 있는 기술의 위험과 기회에 대한 균형 잡힌 논의를 방해한다. 둘째, 이 서한은 GPT-4의 미래 후속 모델을 언급한다. 이는 이전 ChatGPT가 이미 시급히 해결해야 하는 중요한 문제(예: 기계를 복제하고 확장하는 잘못된 정보 또는 편견)를 우리에게 제시했다는 사실에서 주의를 분산시킨다. 그리고 세 번째로, 엄청난 수요는 우리가 이미 AI의 개발과 사용을 규제할 수 있는 도구를 가지고 있다는 사실을 방해한다.”
규제는 무엇을 기반으로 할 수 있으며 어떤 도구가 있습니까?
최근 몇 년 동안 AI의 개발 및 적용을 안내하기 위해 윤리 원칙이 집중적으로 개발되었다. 이들은 또한 중요한 영역에서 기술 표준 및 모범 사례로 보완되었다. 특히 인공 지능에 관한 OECD 원칙은 윤리적 원칙을 400개 이상의 구체적인 도구와 결합한다. 미국 표준화 기관인 NIST도 AI 시스템의 왜곡을 감지하고 처리하는 방법에 대한 70페이지 분량의 가이드라인을 발표했다. 대규모 AI 모델의 안전 영역에서 우리는 AI 시스템이 인간으로부터 좋은 행동의 원칙을 "학습"한 다음 다른 AI 애플리케이션의 결과를 모니터링할 수 있는 "헌법적 AI"와 같은 새로운 방법을 본다. 그동안 특히 보안, 투명성 및 데이터 보호와 관련하여 많은 발전과 전문 테스트 회사가 있었다. 이제 중요한 것은 그러한 도구가 실제로 사용되는지와 방법이다. 다시 ChatGPT 예시를 보면: 사용자의 채팅 기록이 반복 교육용 모델에 포함되는가? 사용자, 연락처 또는 기타 개인 데이터 간의 상호 작용을 기록할 수 있는 플러그인이 허용되는가? 여기에서 여전히 많은 것이 불분명하다는 사실은 일시적인 금지와 이탈리아 데이터 보호 당국의 ChatGPT 개발자에 대한 조사 개시로 알 수 있다.
공개서한은 AI 시스템이 긍정적인 영향을 미치고 위험을 관리할 수 있는 경우에만 개발할 것을 요구합니다. 개발의 어떤 시점에서 그러한 규제가 타당할 정도로 AI의 영향을 잘 예측할 수 있습니까?
“기술의 역사에서 우리는 기술의 "좋은" 또는 "나쁜" 사용을 예측하기 어렵다는 것을 알고 있다. 실제로 기술은 종종 두 가지 모두를 포함하고 부정적인 것 또한 의도하지 않을 수 있다. 예후를 위해 특정 시점에 초점을 맞추는 대신 두 가지가 필요하다. 첫째, 가능하더라도 사회로서 원하지 않는 적용이 무엇인지 자문해야 한다. 명확한 레드 라인과 금지가 여기에 필요하다. 자율 무기 시스템을 예로 생각하고 있다. 둘째, 사람과 환경에 대한 응용 프로그램의 잠재적 위험이 커질수록 요구 사항이 증가함에 따라 개발에서 사용에 이르기까지 포괄적인 위험 관리가 필요하다. 유럽 입법부는 이러한 접근 방식을 올바르게 따르고 있다.”
제안에 따르면 독립적인 전문가가 AI의 위험을 평가해야 합니다.
“이러한 독립적인 테스트는 특히 사람들에게 상당한 영향을 미칠 수 있는 애플리케이션에서 매우 중요한 도구다. 그건 그렇고, 이것은 새로운 아이디어가 아니다. 차량 등록 절차에서 TÜV(인증) 및 감사에 이르기까지 우리는 다양한 삶의 영역에서 사용되는 그러한 테스트 절차와 권한을 가지고 있다. 그러나 특정 AI 방법 및 응용 프로그램의 경우 특정 시스템이 응용 프로그램 자체와 함께 진화하기 때문에(즉, 동적이기 때문에) 문제가 훨씬 더 크다. 또한 전문가 혼자서 모든 사회적 효과를 잘 평가할 수 없다는 점을 인지하는 것이 중요하다. 우리는 또한 AI의 결과에 대한 논의에서 불우하고 소외된 그룹을 포함하는 새로운 메커니즘이 필요하다. 이것은 쉬운 일이 아니며 더 많은 관심을 기울이고 싶다.”
저자는 또한 정치에 대해서도 언급합니다. 이러한 "KI-인증"을 정착시켜야 합니다.
사실 우리는 인공 지능을 위한 게임의 명확한 규칙이 필요하다. EU 차원에서 기술이 안전하고 기본권을 존중하도록 AI 법이 현재 마무리되고 있다. 이 초안은 금지 또는 투명성 의무의 결과와 함께 이러한 원칙에 대한 위험에 따라 AI 기술의 분류를 제공한다. 예를 들어 중국에서 알 수 있듯이 개인의 사회적 행동 평가 금지가 계획되어 있다. 미국에서는 이 분야에서 의회의 정치 과정이 교착상태에 빠졌다. 저명한 서한 서명국들이 기술 개발의 일시적인 중단을 요구하기보다는 연방 차원에서 미국 의원들의 유사한 조치를 옹호하는 것이 도움이 될 것이다.
출처: Pause Giant AI Experiments: An Open Letter; Technische Universität München
[더사이언스플러스=문광주 기자]
[ⓒ the SCIENCE plus. 무단전재-재배포 금지]
