“대형 언어 모델 훈련 시스템으로 자리매김할 것”

구글 로고/제공=연합뉴스
구글 로고/제공=연합뉴스

[데일리한국 박재찬 기자] 구글이 대형 언어 모델의 훈련 시스템으로 자리매김할 인공지능(AI) 슈퍼컴퓨터 ‘TPU v4’를 공개했다.

5일(현지시간) 구글이 인공지능(AI) 모델을 학습시키기 위해 자체 개발한 AI 슈퍼컴퓨터 ‘TPU v4’를 공개했고 CNBC를 인용해 연합뉴스가 보도했다.

AI 슈퍼컴퓨터에는 구글이 2016년부터 자체적으로 개발해 온 ‘텐서 프로세싱 유닛’(Tensor Processing Units·TPU)이라는 AI 칩 4000개가 탑재됐다. 생성형 AI인 챗GPT와 같은 AI 모델을 학습시키기 위해서는 수천개의 반도체 칩으로 구성된 슈퍼컴퓨터가 필요하다.

현재 AI 모델의 학습 시장은 미 반도체 기업인 엔비디아가 90% 이상 장악하고 있다. 전 세계 기업 대부분은 자체 AI 훈련에 엔비디아의 슈퍼컴퓨터를 이용한다.

구글은 2020년부터 이 슈퍼컴퓨터를 운영해 왔으며, 지난해 공개한 초대형 언어 모델 'PaLM'도 50일간 이 시스템에서 학습했다고 설명했다. 'PaLM'은 5천400억개의 매개변수를 지닌 언어 모델이다.

특히, 구글은 슈퍼컴퓨터 ‘TPU v4’가 엔비디아의 최신 칩 A100을 연결한 슈퍼컴퓨터보다 더 빠르고 전력 면에서 효율적이라고 강조했다.

구글은 “자체 시스템이 엔비디아 슈퍼컴퓨터보다 1.2~1.7배가량 더 빠르고, 전력 소모는 1.3~1.9배가량 덜 든다”며 “성능과 확장성, 가용성 등으로 TPU v4 슈퍼컴퓨터가 대형 언어 모델의 훈련 시스템으로 자리매김할 것이다”라고 밝혔다.

저작권자 © 데일리한국 무단전재 및 재배포 금지