AI의 막대한 에너지 소비를 줄이는 아날로그 마이크로 칩 개발
- 기술 / 문광주 기자 / 2023-08-25 20:28:57
3'30" 읽기
- ChatGPT와 같은 AI를 훈련하는 데는 거의 1,300MWh의 에너지가 소비된다.
- 초기 테스트에서 이 아날로그 칩에서 실행되는 AI 언어 모델은 와트당 12조 4천억 산술 연산의 에너지 효율성을 달성
- 정보를 디지털 0과 1로 처리, 저장하지 않고 저항이나 재료의 기타 속성을 변경해 정보 처리하고 저장
- 아날로그 칩은 미래의 AI 시스템을 더욱 에너지 효율적으로 처리, 기후 친화적
대규모 언어 모델을 기반으로 한 인공 지능을 통해 AI 기술은 성능 면에서 엄청난 도약을 이룰 수 있었으며 텍스트 및 이미지 생성, 과학, 심지어 창의적인 작업 등 많은 영역에서 이미 인간 지능에 매우 가깝다. 그러나 이러한 생성 AI 시스템에는 큰 단점이 있다. 엄청난 전력 소모자라는 것이다. ChatGPT와 같은 AI를 훈련하는 데는 거의 1,300MWh의 에너지가 소비된다. 모델이 커질수록 더 많은 하드웨어 전력이 필요하다.
손실이 많은 데이터 전송
AI 시스템에 사용되는 프로세서와 그래픽 카드가 막대한 전력을 소비하는 이유 중 하나는 그 구조다. 디지털 마이크로칩을 사용하면 모든 컴퓨팅 작업을 위해 데이터가 메인 메모리에서 프로세서로 이동되어야 하며 다시 그 반대로 이동해야 한다. 데이터 버스를 통한 전자 전송으로 인해 에너지와 시간의 상당 부분이 손실된다. 구성 요소 간의 거리에 따라 에너지 손실은 실제 컴퓨팅 작업에 필요한 에너지의 3~1만 배에 이를 수 있다.
그러나 Von Neumann(폰 노이만) 병목 현상이라고도 알려진 이 문제는 프로세서가 너무 커서 메인 메모리에 직접 통합할 수 없기 때문에 현재 디지털 시스템에서는 쉽게 제거할 수 없다.
디지털 신호 대신 위상 변화
그러나 이는 아날로그 메모리 내 컴퓨팅 칩의 경우와 다르다. 정보를 디지털 0과 1로 처리하고 저장하는 것이 아니라 저항이나 재료의 기타 속성을 변경하는 형태로 정보를 처리하고 저장한다. 아날로그 칩은 수천 개의 트랜지스터를 필요하지 않다. 그에 따른 작은 공간도 필요하지 않기 때문에 처리 장치를 메인 메모리에 직접 통합할 수 있다.
Almaden에 위치한 IBM Research의 Stefano Ambrogio가 이끄는 팀은 이제 특히 AI 시스템용 아날로그 칩을 개발하고 테스트했다. 이는 크기가 14nm(나노미터)에 불과한 상변화 물질 3,500만 개가 집적된 실리콘 조각으로 구성된다. 이 물질은 작은 전기 가열 회로의 온도에 따라 결정 상태에서 비정질 상태로 상태가 바뀌었다가 다시 돌아온다.
Ambrogio와 그의 팀은 "이러한 상변화 모듈은 적용된 전기 펄스에 따라 결정질, 전도성 및 비정질, 덜 전도성인 위상의 비율을 조정하여 유사한 전도성 상태를 인코딩한다"고 설명했다. 따라서 전류가 흐르지 않을 때에도 위상 상태가 유지되므로 재료는 전자 입력에 반응하여 이를 저장할 수 있다.
중간 상태는 "시냅스 가중치"를 활성화한다.
하이라이트는 디지털 칩과 달리 위상 변화 모듈이 0과 1을 처리할 수 있을 뿐만 아니라 중간 상태도 가정할 수 있다는 점이다. "이것은 시냅스 가중치라고 불리며 각 상변화 모듈의 원자 배열에 저장된다"고 팀은 설명했다. 이 시냅스 가중치를 사용하면 아날로그 칩이 단일 데이터 비트를 이동하지 않고도 전압과 전류의 간단한 조합을 통해 AI 시스템의 일반적인 작업(소위 곱셈-누산 작업)을 인코딩할 수 있다.
따라서 아날로그 칩은 인공 신경망 학습에 필수적인 산술 연산을 수행하는 데 특히 적합하다. 이러한 AI 시스템은 훈련 과정에서 특정 논리적 링크와 작업에 더 많은 가중치를 부여하고 선호함으로써 학습하기 때문이다. Ambrogio와 그의 동료들은 "아날로그 메모리 컴퓨팅은 네트워크 계층을 아날로그 어레이로 오프로드하고 단일 통합 단계에서 병렬로 작업을 수행함으로써 이러한 시스템에 더 큰 효율성을 가져올 수 있다"고 설명했다.
빠르고 정확한 단어 인식
연구원들은 아날로그 칩이 두 가지 AI 모델에서 인공 지능의 기초로 얼마나 잘 작동하는지 테스트했다. 첫 번째 테스트에서는 일반적인 소형 음성 모델인 Google Speech Commands용 아날로그 칩을 사용했다. 이는 음성 입력에서 특정 핵심 용어를 듣고 그에 반응하는 데 특화되어 있다. 이는 언어 도우미 Alexa 또는 Siri가 사용자의 이름을 듣고 활성화되는 방식과 유사하다.
테스트에서 Ambrogio와 그의 팀은 아날로그 칩에서 실행되는 12개 키워드에 대한 이 언어 모델 변형의 속도와 효율성을 기존 디지털 버전과 비교했다.
결과:
정확하게 인식된 용어의 적중률은 86%로 디지털 벤치마크와 동등했다. 이와 대조적으로 아날로그 칩 모델이 음향 입력을 처리하는 속도는 프로세스 단계당 300ns(나노초)로 7배 더 빨랐다고 팀은 보고했다.
더 큰 언어 모델에서도 효율적
두 번째 테스트에서 연구원들은 훨씬 더 큰 Librispeech 음성 모델을 작동하기 위해 총 1억 4천만 개의 위상 변화 모듈을 갖춘 5개의 결합 아날로그 칩을 사용했다. 이는 작은 모델과 유사하게 작동하지만, 전체 음성 텍스트를 복사할 수 있다. 첫 번째 테스트와 달리 팀은 처음에 아날로그 칩을 디지털 주변 장치 구성 요소와 결합했다.
여기에서도 주로 아날로그 컴퓨팅 기술이 작동했다. 시스템은 비교 모델과 마찬가지로 복사할 때 정확했지만 훨씬 더 에너지 효율적이었다. "아날로그 저전력 주변 회로와 결합된 아날로그 AI 칩은 와트당 초당 최대 12조 4천억 개의 작업을 달성할 수 있다"고 팀은 썼다. 이는 이러한 AI 아날로그 칩이 기존 디지털 시스템보다 에너지 효율이 14배 더 높다는 것을 의미한다.
"보다 지속 가능한 AI를 위한 유망한 접근 방식“
따라서 Ambrogio와 그의 동료들에 따르면 아날로그 칩은 미래의 AI 시스템을 더욱 에너지 효율적으로 만들어 기후 친화적으로 만드는 데 도움이 될 수 있다. 인텔(Intel)의 헤센 왕(Hechen Wang)도 비슷하게 보고 있다. "아날로그 AI는 이러한 시스템에 필요한 시간과 에너지를 최소화할 수 있는 유망하고 지속 가능한 솔루션이다"고 연구에 참여하지 않은 연구원은 "Nature"에 첨부된 논평에서 썼다.
그러나 이 기술은 아직 초기 단계에 있다. Wang에 따르면 이러한 아날로그 시스템에서 인공 지능을 완전히 작동하려면 몇 가지 개발 단계가 여전히 필요하기 때문이다.
(Nature, 2023; doi: 10.1038/s41586-023-06337-5)
출처: Nature, IBM Research
- ChatGPT와 같은 AI를 훈련하는 데는 거의 1,300MWh의 에너지가 소비된다.
- 초기 테스트에서 이 아날로그 칩에서 실행되는 AI 언어 모델은 와트당 12조 4천억 산술 연산의 에너지 효율성을 달성
- 정보를 디지털 0과 1로 처리, 저장하지 않고 저항이나 재료의 기타 속성을 변경해 정보 처리하고 저장
- 아날로그 칩은 미래의 AI 시스템을 더욱 에너지 효율적으로 처리, 기후 친화적
보다 지속 가능한 AI를 위한 아날로그 칩
위상 변화 모듈을 기반으로 하는 마이크로칩은 언어 모델을 더욱 에너지 효율적으로 만든다.
디지털 비트 대신 위상 변화:
IBM 연구진은 인공 지능의 막대한 전력 소비를 줄일 수 있는 새로운 유형의 아날로그 마이크로칩을 개발했다. 칩은 물질의 상변화를 통해 정보를 처리하고 저장한다. 초기 테스트에서 이러한 아날로그 칩에서 실행되는 AI 언어 모델은 와트당 12조 4천억 산술 연산의 에너지 효율성을 달성했다. 이는 팀이 "Nature"에서 보고한 대로 현재 AI 시스템보다 14배 더 에너지 효율적인 것이다.
 |
| ▲ 이 실리콘 웨이퍼에는 수많은 아날로그 마이크로칩이 포함되어 있으며 각 마이크로칩에는 상변화 물질로 만들어진 수백만 개의 컴퓨팅 및 저장 모듈이 있다. © IBM/ Ryan Lavine |
대규모 언어 모델을 기반으로 한 인공 지능을 통해 AI 기술은 성능 면에서 엄청난 도약을 이룰 수 있었으며 텍스트 및 이미지 생성, 과학, 심지어 창의적인 작업 등 많은 영역에서 이미 인간 지능에 매우 가깝다. 그러나 이러한 생성 AI 시스템에는 큰 단점이 있다. 엄청난 전력 소모자라는 것이다. ChatGPT와 같은 AI를 훈련하는 데는 거의 1,300MWh의 에너지가 소비된다. 모델이 커질수록 더 많은 하드웨어 전력이 필요하다.
손실이 많은 데이터 전송
AI 시스템에 사용되는 프로세서와 그래픽 카드가 막대한 전력을 소비하는 이유 중 하나는 그 구조다. 디지털 마이크로칩을 사용하면 모든 컴퓨팅 작업을 위해 데이터가 메인 메모리에서 프로세서로 이동되어야 하며 다시 그 반대로 이동해야 한다. 데이터 버스를 통한 전자 전송으로 인해 에너지와 시간의 상당 부분이 손실된다. 구성 요소 간의 거리에 따라 에너지 손실은 실제 컴퓨팅 작업에 필요한 에너지의 3~1만 배에 이를 수 있다.
그러나 Von Neumann(폰 노이만) 병목 현상이라고도 알려진 이 문제는 프로세서가 너무 커서 메인 메모리에 직접 통합할 수 없기 때문에 현재 디지털 시스템에서는 쉽게 제거할 수 없다.
디지털 신호 대신 위상 변화
그러나 이는 아날로그 메모리 내 컴퓨팅 칩의 경우와 다르다. 정보를 디지털 0과 1로 처리하고 저장하는 것이 아니라 저항이나 재료의 기타 속성을 변경하는 형태로 정보를 처리하고 저장한다. 아날로그 칩은 수천 개의 트랜지스터를 필요하지 않다. 그에 따른 작은 공간도 필요하지 않기 때문에 처리 장치를 메인 메모리에 직접 통합할 수 있다.
 |
| ▲ 이 아날로그 칩에는 3,500만 개의 작은 위상 변화 모듈이 포함되어 있다. © IBM/ Ryan Lavine |
Almaden에 위치한 IBM Research의 Stefano Ambrogio가 이끄는 팀은 이제 특히 AI 시스템용 아날로그 칩을 개발하고 테스트했다. 이는 크기가 14nm(나노미터)에 불과한 상변화 물질 3,500만 개가 집적된 실리콘 조각으로 구성된다. 이 물질은 작은 전기 가열 회로의 온도에 따라 결정 상태에서 비정질 상태로 상태가 바뀌었다가 다시 돌아온다.
Ambrogio와 그의 팀은 "이러한 상변화 모듈은 적용된 전기 펄스에 따라 결정질, 전도성 및 비정질, 덜 전도성인 위상의 비율을 조정하여 유사한 전도성 상태를 인코딩한다"고 설명했다. 따라서 전류가 흐르지 않을 때에도 위상 상태가 유지되므로 재료는 전자 입력에 반응하여 이를 저장할 수 있다.
 |
중간 상태는 "시냅스 가중치"를 활성화한다.
하이라이트는 디지털 칩과 달리 위상 변화 모듈이 0과 1을 처리할 수 있을 뿐만 아니라 중간 상태도 가정할 수 있다는 점이다. "이것은 시냅스 가중치라고 불리며 각 상변화 모듈의 원자 배열에 저장된다"고 팀은 설명했다. 이 시냅스 가중치를 사용하면 아날로그 칩이 단일 데이터 비트를 이동하지 않고도 전압과 전류의 간단한 조합을 통해 AI 시스템의 일반적인 작업(소위 곱셈-누산 작업)을 인코딩할 수 있다.
따라서 아날로그 칩은 인공 신경망 학습에 필수적인 산술 연산을 수행하는 데 특히 적합하다. 이러한 AI 시스템은 훈련 과정에서 특정 논리적 링크와 작업에 더 많은 가중치를 부여하고 선호함으로써 학습하기 때문이다. Ambrogio와 그의 동료들은 "아날로그 메모리 컴퓨팅은 네트워크 계층을 아날로그 어레이로 오프로드하고 단일 통합 단계에서 병렬로 작업을 수행함으로써 이러한 시스템에 더 큰 효율성을 가져올 수 있다"고 설명했다.
빠르고 정확한 단어 인식
연구원들은 아날로그 칩이 두 가지 AI 모델에서 인공 지능의 기초로 얼마나 잘 작동하는지 테스트했다. 첫 번째 테스트에서는 일반적인 소형 음성 모델인 Google Speech Commands용 아날로그 칩을 사용했다. 이는 음성 입력에서 특정 핵심 용어를 듣고 그에 반응하는 데 특화되어 있다. 이는 언어 도우미 Alexa 또는 Siri가 사용자의 이름을 듣고 활성화되는 방식과 유사하다.
테스트에서 Ambrogio와 그의 팀은 아날로그 칩에서 실행되는 12개 키워드에 대한 이 언어 모델 변형의 속도와 효율성을 기존 디지털 버전과 비교했다.
 |
| ▲ 테스트에 사용되는 케이스 및 주변 장치가 포함된 아날로그 칩이다. © IBM/ Ryan Lavine |
결과:
정확하게 인식된 용어의 적중률은 86%로 디지털 벤치마크와 동등했다. 이와 대조적으로 아날로그 칩 모델이 음향 입력을 처리하는 속도는 프로세스 단계당 300ns(나노초)로 7배 더 빨랐다고 팀은 보고했다.
더 큰 언어 모델에서도 효율적
두 번째 테스트에서 연구원들은 훨씬 더 큰 Librispeech 음성 모델을 작동하기 위해 총 1억 4천만 개의 위상 변화 모듈을 갖춘 5개의 결합 아날로그 칩을 사용했다. 이는 작은 모델과 유사하게 작동하지만, 전체 음성 텍스트를 복사할 수 있다. 첫 번째 테스트와 달리 팀은 처음에 아날로그 칩을 디지털 주변 장치 구성 요소와 결합했다.
 |
| ▲ (a) 실험에 사용된 패키지 모듈. (b) 모든 아날로그 타일과 해당 영역 분석을 보여주는 H3 금속 레벨의 칩 현미경 사진. (c) 테스트 플랫폼은 3개의 Xilinx Virtex-7 VC707 FPGA로 구동되는 맞춤형 보드에 장착된 칩 소켓을 기반으로 한다. 전원은 4개의 Keysight E36312A에서 공급된다. 3개의 FPGA는 보드를 통해 연결되며 전체 시스템은 PCIe 커넥터를 사용하는 x86 시스템에 의해 제어된다. (출처: 관련논문 An analog-AI chip for energy-efficient speech recognition and transcription / nature / Published: 23 August 2023) |
여기에서도 주로 아날로그 컴퓨팅 기술이 작동했다. 시스템은 비교 모델과 마찬가지로 복사할 때 정확했지만 훨씬 더 에너지 효율적이었다. "아날로그 저전력 주변 회로와 결합된 아날로그 AI 칩은 와트당 초당 최대 12조 4천억 개의 작업을 달성할 수 있다"고 팀은 썼다. 이는 이러한 AI 아날로그 칩이 기존 디지털 시스템보다 에너지 효율이 14배 더 높다는 것을 의미한다.
"보다 지속 가능한 AI를 위한 유망한 접근 방식“
따라서 Ambrogio와 그의 동료들에 따르면 아날로그 칩은 미래의 AI 시스템을 더욱 에너지 효율적으로 만들어 기후 친화적으로 만드는 데 도움이 될 수 있다. 인텔(Intel)의 헤센 왕(Hechen Wang)도 비슷하게 보고 있다. "아날로그 AI는 이러한 시스템에 필요한 시간과 에너지를 최소화할 수 있는 유망하고 지속 가능한 솔루션이다"고 연구에 참여하지 않은 연구원은 "Nature"에 첨부된 논평에서 썼다.
그러나 이 기술은 아직 초기 단계에 있다. Wang에 따르면 이러한 아날로그 시스템에서 인공 지능을 완전히 작동하려면 몇 가지 개발 단계가 여전히 필요하기 때문이다.
(Nature, 2023; doi: 10.1038/s41586-023-06337-5)
출처: Nature, IBM Research
[더사이언스플러스=문광주 기자]
[ⓒ the SCIENCE plus. 무단전재-재배포 금지]
