[서울=뉴스핌] 최원진 기자= 엔비디아(NVDA)가 사실상 독점해온 인공지능(AI) 가속기 반도체 시장에서 구글의 텐서처리장치(TPU)가 대항마로 급부상하고 있다.

구글은 10년 전 자사 웹 검색 속도를 높이기 위해 TPU를 도입했고, 이후 머신러닝과 대규모 언어모델(LLM) 개발에 최적화된 연산 구조로 발전시켜 왔다.

최근 주요 AI 스타트업과 빅테크 기업이 TPU 기반 연산을 도입하면서, 엔비디아가 독점하던 AI칩 시장 구조에 변화 조짐이 감지되고 있다.

구글 클라우드 로고 조형물 [사진=블룸버그통신]

◇ GPU와 TPU는 무엇이 다른가

엔비디아의 GPU는 원래 비디오 게임 그래픽을 사실적으로 구현하기 위해 설계된 칩으로, 수천 개의 코어를 활용한 병렬 연산이 강점이다. 이러한 아키텍처는 다량의 연산을 동시에 수행해야 하는 AI 모델 훈련 작업에도 적합해, 범용성과 프로그래밍 유연성 측면에서 높은 평가를 받는다.

반면 TPU는 '행렬 연산(matrix multiplication)'이라는 특정 연산에 최적화된 구조로 설계됐다. 대규모 언어모델 훈련 과정의 대부분을 차지하는 반복적·순차적 연산을 효율적으로 수행하기 위해 만들어진 것이다. 범용성은 GPU보다 떨어지지만, 해당 연산 분야에서는 전력 소모가 적고 운영 비용이 낮은 점이 특징으로 꼽힌다.

◇ TPU는 어떻게 경쟁자가 됐나

구글은 2013년 TPU 개발에 착수해 2015년 첫 제품을 내놓았다. 초기에는 웹 검색 엔진 성능 개선을 위해 내부에서만 활용됐으며, 이후 머신러닝 연구에 응용됐다. 2018년부터는 TPU를 구글 클라우드 서비스에 적용해 외부 고객도 사용할 수 있도록 했다.

TPU는 구글·딥마인드의 AI 연구팀이 개발한 제미나이 등 대규모 모델 실험 과정에서 얻은 피드백이 칩 설계에 반영되며 세대마다 성능과 효율이 향상됐다. 가장 최신형 TPU는 올해 4월 공개된 '아이언우드(Ironwood)'로, 액체 냉각 방식을 채택했고 AI 추론 작업을 강화한 사양이다. 아이언우드는 256개 칩을 묶은 '포드(pod)' 구성부터 최대 9,216개 칩을 연결한 초대형 클러스터까지 지원한다.

미 투자은행 시포트 글로벌(Seaport Global)의 제이 골드버그 애널리스트는 TPU가 특정 연산에만 집중하도록 설계돼 불필요한 구성 요소를 대폭 줄일 수 있었다는 점을 경쟁력으로 꼽았다. 구글이 7세대에 걸쳐 성능을 높이고 에너지 효율성을 강화해 운영 비용을 낮춘 점도 경쟁 요인이라고 평가했다.

◇ 누가 TPU를 도입하고 있나

현재 TPU를 사용하는 고객사에는 지난해 오픈AI 공동 창업자 일리야 수츠케버가 설립한 '세이프 슈퍼인텔리전스(Safe Superintelligence)', 세일즈포스, 이미지 생성 서비스 미드저니, 그리고 앤스로픽 등이 포함된다.

특히 앤스로픽은 10월 체결한 협정에 따라 최대 100만 개 TPU에 해당하는 1GW 규모의 컴퓨팅 파워를 구글로부터 공급받기로 했다. 최근에는 메타가 2027년부터 자사 데이터센터에 구글 TPU 도입을 검토 중이라는 보도도 나왔다.

AI 서비스 이용자 증가와 모델 복잡도 증가로 컴퓨팅 수요가 급증하는 가운데, 주요 기업들이 엔비디아 칩 의존도를 낮추기 위해 대체 옵션을 찾는 흐름이 TPU 수요를 떠받치고 있다는 분석이 나온다.

◇ TPU 시장의 확장 가능성

AI 개발 기업들은 매년 수십억 달러 규모의 엔비디아 칩을 구매하면서도, 공급 부족과 높은 비용을 완화하기 위해 대안을 찾고 있다. 이런 상황은 TPU 수요 확대 가능성을 키우고 있다.

다만 현재로서는 구글 TPU를 사용하기 위해 구글 클라우드에서 연산 자원을 임대해야 한다. 블룸버그 인텔리전스는 최근 앤스로픽과의 협정이 체결된 점을 들어 "TPU가 향후 다른 클라우드로 확장될 가능성이 커졌다"고 분석했다.

업계에서는 엔비디아 GPU를 완전히 대체하는 것은 불가능하다는 데 의견이 모인다. AI 개발 속도가 빠른 만큼, 모델 구조 변화나 알고리즘 변경에 대응하려면 범용성이 높은 GPU가 필수적이기 때문이다. 가트너 애널리스트 가우라브 굽타는 "구글 역시 자체 칩을 개발하면서도 다양한 고객 수요를 맞추기 위해 엔비디아의 주요 고객으로 남아 있다"고 설명했다.

또한 TPU를 도입하는 기업들도 GPU 투자를 병행하고 있다. 예컨대 앤스로픽은 구글 TPU 계약 발표 직후 엔비디아와 별도의 대규모 칩 공급 계약을 추가로 체결했다. 이 때문에 시장에서는 향후 글로벌 AI 인프라가 특정 칩 중심이 아니라 GPU와 TPU 등 다양한 가속기를 조합하는 '혼합형 구조'로 구축될 것이라는 전망이 힘을 얻고 있다.

wonjc6@newspim.com