3분 읽기
- 2024년 5월, 유럽 연합은 세계 최초의 인공지능 관련 규칙을 채택
- 주요 기반 시설이나 의료 진단 같은 고위험 AI 시스템은 반드시 인간의 감독 아래에 운영되어야 한다고 명시

AI Cockpit, 인공지능 제어 강화
프라운호퍼 산업공학 연구소(IAO)

프라운호퍼 IAO와 슈투트가르트 대학교 산업공학 및 기술경영 연구소(IAT)의 연구팀은 과학 및 산업계 파트너들과 협력하여 AI 애플리케이션 제어 시 어려운 상황에 처한 사람들을 지원하는 솔루션을 개발했다. AI Cockpit은 사람들이 AI의 의사결정을 이해하고 제어할 수 있도록 설계되었다. AI Cockpit의 모든 소프트웨어 애플리케이션과 관련 자료는 무료로 열람 및 다운로드할 수 있다. 

▲ 완전 연결: 프라운호퍼 IAO 신경연구소의 가상 주방에서 일하는 모든 사람은 사전에 온갖 기기에 연결되어 있다. © Martin Albermann

2024년 5월, 유럽 연합은 세계 최초의 인공지능 관련 규칙을 채택했다. 이 규칙은 주요 기반 시설(KRITIS)이나 의료 진단과 같은 고위험 AI 시스템은 반드시 인간의 감독 아래에 운영되어야 한다고 명시하고 있다. 또한, 시스템은 사용자에게 투명하게 운영되어야 한다. 슈투트가르트 대학교 산업공학 및 기술경영 연구소(IAT)는 "AI Cockpit" 프로젝트를 통해 다양한 분야의 운영 실무에서 유럽 AI 규정의 모범적인 이행 사례를 조사했다.

다양한 기관 현장 연구

카리타스, 스타윗 테크놀로지스, 케미스트리와 함께 프로젝트 컨소시엄은 AI 조종석을 개발했다. 프라운호퍼 IAO의 프로젝트 매니저인 넥타리아 타갈리두 박사는 "세 파트너는 매우 다르지만, 조종석은 모든 파트너에게 매우 중요하다"고 말했다. 참가자들은 다양한 예시 상황에서 현장 연구를 통해 사람들이 일상 업무에서 다양한 AI 시스템을 어떻게 파악할 수 있는지 조사했다. 상황 인식 능력, 즉 현재 상황과 그로 인한 결과를 이해하는 것은 올바른 행동을 취하는 데 매우 중요하다.

스타윗 테크놀로지스는 지자체를 위한 AI 지원 교통 관리 계획을 개발하고 있다. AI는 도로 위 물체와 같은 위험 상황을 감지하거나 지능적인 교통 제어를 통해 교통 체증을 피할 수 있도록 지원한다. AI 조종석에서 사람은 AI의 결정을 이해하고 모니터링할 수 있어야 한다. 타갈리두 박사는 "이러한 상황에서만 오류 발생 시 신속하게 수동으로 개입할 수 있다"고 말했다.

카리타스 도르트문트는 직원들의 일상 업무를 지원하기 위해 돌봄 분야에서 AI 시스템을 활용할 방안을 모색하고 있다. 요양원 거주자의 음료 섭취량을 기록하는 시스템이나 고객의 음식 주문을 개인의 기호에 맞춰 조정하는 알고리즘 등이 가능한 방안이다. 슈투트가르트 대학교 IAT(Information Attorney and Technology)의 "응용 신경인지 시스템" 팀 과학자이자 연구원인 미하엘 부이는 "이 경우에도 오류는 해를 끼칠 수 있기 때문에 제어가 특히 중요하다"고 말했다.

IAO/IAT 연구원들은 AI 조종석의 전반적인 설계뿐만 아니라 사용자의 정신 능력에 적응하여 과도하거나 부족한 상황을 피하는 시스템 개발에도 집중했다. 이는 특히 안전이 중요한 상황처럼 빠르고 정확한 의사 결정이 필요한 분야에서 중요하다. 그 결과, 사용자의 현재 정신 능력을 분석하고 그에 따라 정보 흐름을 조정하는 시스템이 탄생했다.

기업을 위한 "AI Cockpit": 오픈 소스 다운로드

AI Cockpit의 모든 소프트웨어 애플리케이션과 관련 자료는 프로젝트 웹사이트에서 무료로 열람 및 다운로드할 수 있다. 이미 AI를 활용하고 있거나 AI 시스템 구축을 계획 중인 기업은 이 프로젝트의 결과를 활용할 수 있다. Fraunhofer IAO와 IAT는 맞춤형 AI Cockpit 구축 지원을 포함한 포괄적인 컨설팅 서비스를 기업에 제공하고 있다.
출처: Fraunhofer Institute for Industrial Engineering IAO

[더사이언스플러스=문광주 기자]

[ⓒ the SCIENCE plus. 무단전재-재배포 금지]