AI 학습 시대에서 ‘추론’ 시대로 권력 이동… 특화 ASIC 반도체 대역습 시작돼
기존 GPU 160대 분량의 일처리를 단 몇 대의 칩으로… 전력 소모·비용 혁신
(테크 밸리=메타고질라) 초코파이 기자 = 전 세계 인공지능(AI) 반도체 시장을 독식하고 있는 엔비디아(NVIDIA)의 아성을 정면으로 겨냥한 차세대 ‘괴물’ AI 칩들이 등장해 업계가 발칵 뒤집혔다. 범용으로 쓰이는 기존 엔비디아 주력 GPU 대비 특정 작업에서 최대 48배에 달하는 압도적인 추론(Inference) 속도를 뿜어내며 데이터센터 권력 이동의 신호탄을 쏘아 올렸다.
■ “복잡한 계산은 필요 없다, 오직 텍스트 생성만 판다”
그동안 챗GPT(ChatGPT)와 같은 대규모 언어 모델(LLM)을 ‘학습(Training)’시키는 데에는 엔비디아의 H100이나 B200 같은 고성능 GPU가 필수적이었다. GPU는 수많은 그래픽 코어를 바탕으로 다양한 연산을 동시에 처리하는 데 탁월하기 때문이다.
하지만 AI 서비스가 상용화되면서 시장의 패러다임이 바뀌었다. 이제는 학습된 AI가 사용자의 질문을 듣고 실시간으로 답변을 뱉어내는 ‘추론(Inference)’ 비용이 천문학적으로 증가하기 시작한 것이다. GPU는 모든 종류의 AI 아키텍처를 처리할 수 있는 다재다능함을 갖췄지만, LLM에서 절대적인 비중을 차지하는 특정 행렬 연산에는 트랜지스터의 극히 일부(약 3~5%)만 사용되어 비효율적이라는 지적이 제기되어 왔다.
여기에 도전장을 던진 것이 바로 트랜스포머(Transformer) 전용 ASIC(주문형 반도체)과 LPU(언어처리장치) 진영이다. 이들은 칩의 물리적 구조 자체를 최신 LLM 아키텍처에 완벽히 맞춤 설계했다. 다양한 작업을 할 수 있는 유연성을 과감히 버린 대신, 오직 ‘AI 추론’이라는 단 하나의 목적에 칩의 모든 트랜지스터와 메모리를 쏟아부은 것이다.
■ 토큰 생성 속도 ’48배’ 폭발… 비용과 전력을 동시에 잡다
업계 벤치마크 결과에 따르면, 이들 특화 칩의 성능은 경이로운 수준이다. 대표적인 사례로 거론되는 혁신적인 추론 칩들은 엔비디아의 동급 GPU가 초당 수십 개의 토큰을 생성할 때, 무려 수백에서 수천 개의 토큰을 찍어낸다.
연구소와 주요 테스트 환경에 따라 기존 GPU 클러스터 대비 최소 10배에서 최대 48배(특정 토큰 생성 속도 기준)까지 빠른 압도적 스피드를 입증했다. 한 반도체 스타트업 관계자는 “우리 칩 8개가 탑재된 서버 한 대가 엔비디아 H100 GPU 160대가 뿜어내는 성능과 맞먹는다”며 “추론 속도는 경이롭게 빠르지만 전력 소모량은 오히려 획기적으로 낮다”고 강조했다.
이는 사용자 입장에서는 챗봇의 답변을 기다릴 필요 없이 실시간 음성 대화가 가능한 수준의 응답 속도를 의미하며, 기업 입장에서는 데이터센터 운영 비용과 막대한 전기료를 기존 대비 수십 분의 일 수준으로 아낄 수 있다는 뜻이다.
■ 독주하던 엔비디아 천하, ‘춘추전국시대’ 맞이하나
이러한 미친 성능의 추론용 칩들이 상용화 궤도에 오르면서 글로벌 빅테크 기업들도 발 빠르게 움직이고 있다. 막대한 ‘엔비디아세(Nvidia Tax)’에서 벗어나기 위해 오픈AI, 메타, 마이크로소프트 등은 특화 반도체를 설계하는 스타트업(그로크, 에치드, 삼바노바 등)에 막대한 투자를 단행하며 인프라 다변화를 꾀하고 있다.
물론 엔비디아의 생태계 장벽은 여전히 높다. ‘쿠다(CUDA)’라는 강력한 소프트웨어 플랫폼이 개발자들을 꽉 쥐고 있기 때문이다. 하지만 “돈이 되는 것은 결국 추론”이라는 AI 시장의 새로운 공식이 세워진 만큼, 오직 극강의 효율과 스피드로 무장한 새로운 ‘추론 특화 칩’들의 반격은 이제 막 시작되었다. AI 반도체 시장의 제2막, 진정한 왕좌를 차지할 주인공은 누가 될지 전 세계의 이목이 쏠리고 있다.