"추론 시장은 훈련보다 10배 크다."
젠슨 황 엔비디아 CEO가 수차례 되풀이한 이 선언이, 마침내 실체를 드러내기 시작했다. 엔비디아가 AI 훈련용 GPU를 넘어 추론 전용 칩 라인업까지 전면 확대하면서, 글로벌 반도체 시장의 지형이 다시 한번 요동치고 있다. 충격파의 정면에 한국 NPU(신경망처리장치) 스타트업과 팹리스 업계가 서 있다.
추론 시장에 엔비디아가 직접 뛰어든 이유
AI 반도체 시장은 두 축으로 나뉜다. 모델을 학습시키는 훈련(Training)과, 학습된 모델을 실제 서비스에 적용하는 추론(Inference)이다. 그동안 엔비디아는 A100, H100, B200 등 고성능 GPU로 훈련 시장을 사실상 독점해왔다. 반면 추론 영역은 진입 장벽이 상대적으로 낮다는 인식이 지배적이었다. 전력 효율과 비용 최적화가 핵심인 만큼, 구글 TPU나 AWS 인퍼런티아 같은 커스텀 칩, 그리고 한국의 리벨리온, 퓨리오사AI, 사피온 같은 NPU 스타트업이 기회를 노리던 영역이었다.
그런데 엔비디아가 이 틈새까지 직접 메우겠다고 나섰다. 지디넷코리아 보도에 따르면, 엔비디아는 추론 워크로드에 최적화된 칩셋과 소프트웨어 스택을 동시에 강화하며 시장 장악에 속도를 내고 있다. 훈련에서 추론까지, 풀스택 전략의 완성이다.
한국 NPU 스타트업, 생존의 기로에 서다
국내 NPU 업계에게 이건 묵직한 경고음이다. 리벨리온은 아톰(ATOM) 칩으로 KT 데이터센터 공급을 시작했고, 퓨리오사AI는 워보이(WARBOY) 칩의 차기 버전을 준비 중이다. 사피온은 SK텔레콤 계열사로서 통신 인프라 기반 추론 수요를 겨냥해왔다. 공통 전략은 명확했다. 엔비디아 GPU 대비 추론 단가를 낮추고, 전력 효율을 높여 틈새를 파고든다는 것.
그런데 엔비디아가 추론 효율까지 끌어올리면, 이 전략의 전제 자체가 흔들린다. 가격 경쟁력이라는 무기가 무뎌지는 셈이다. 더 뼈아픈 대목은 소프트웨어 생태계다. 엔비디아의 CUDA는 AI 개발자 사이에서 사실상의 표준이다. 추론 프레임워크 TensorRT까지 긴밀하게 최적화된 상태에서, 고객사가 새로운 NPU로 마이그레이션할 동기를 찾기란 점점 어려워진다.
한 NPU 스타트업 관계자는 "기술적으로 우위가 있어도, 고객이 CUDA 락인에서 벗어나려 하지 않는다"고 토로했다. 이건 단순한 성능 경쟁이 아니다. 생태계 전쟁이다.
삼성 파운드리, 반격의 열쇠를 쥐다
흥미로운 건 이 위기 한복판에서 삼성전자가 새로운 카드를 만지작거리고 있다는 점이다. 매일경제 보도에 따르면, 글로벌 파운드리 점유율 7%대에 머물던 삼성 파운드리가 엔비디아, 테슬라 등 빅테크 고객을 등에 업고 AI 반격을 모색하고 있다. 특히 엔비디아의 차세대 칩 일부 물량을 수주하려는 움직임이 포착되면서, "적이자 파트너"라는 복합적 관계가 형성되는 중이다.
삼성전자와 엔비디아의 협력은 반도체 제조를 넘어선다. 최근 양사는 AI 에이전트, 디지털 트윈 등 소프트웨어 밸류체인으로까지 협력 범위를 넓히고 있다. 삼성전자가 엔비디아 옴니버스 플랫폼을 자사 스마트 팩토리에 적용하고, 엔비디아 AI 기술을 가전·모바일 기기에 탑재하는 시나리오가 구체화되고 있다는 게 업계 전언이다.
이 구도에서 한국 NPU 스타트업에게 삼성 파운드리는 양날의 검이다. 자체 칩을 양산할 수 있는 제조 인프라는 확보되지만, 삼성이 엔비디아와 밀착할수록 NPU 스타트업의 전략적 입지는 오히려 모호해질 수 있다.
AMD의 한국 공략과 AI 생태계의 재편
엔비디아만이 변수는 아니다. 지디넷코리아 현장 보도에 따르면, AMD CEO 리사 수는 최근 한국을 방문해 업스테이지와의 협력을 언급하며 "성 킴(업스테이지 CEO)은 훌륭하다, 더 많이 함께할 것"이라고 밝혔다. AMD가 한국 AI 스타트업과 직접 손을 잡겠다는 분명한 시그널이다.
AMD MI300X 같은 경쟁 GPU가 한국 시장에 본격 진입하면, NPU 스타트업 입장에서는 경쟁 상대가 하나 더 늘어난다. 하지만 시선을 돌리면, 엔비디아 독점이 깨지는 건 오히려 기회일 수 있다. 빅테크 간 경쟁이 치열해질수록 고객사의 "세컨드 소스" 수요가 커지고, 특정 워크로드에 최적화된 NPU가 그 빈자리를 채울 여지가 생긴다.
틈새는 존재한다, 다만 빠르게 좁아진다
한국 NPU 업계가 살아남을 수 있는 경로를 냉정하게 따져보면, 세 가지 시나리오가 남는다.
첫째, 온디바이스(On-device) 추론이다. 데이터센터가 아닌 스마트폰, 자동차, 로봇 등 엣지 디바이스에서 구동되는 초저전력 NPU는 엔비디아의 주력 영역과 겹치지 않는다. 리벨리온이 최근 엣지 AI 칩 로드맵을 공개한 것도 이 맥락이다.
둘째, 특정 산업에 대한 수직 특화다. 통신, 국방, 의료 등 규제가 촘촘하고 커스터마이징 수요가 큰 분야에서는 범용 GPU보다 맞춤형 NPU가 유리할 수 있다. 사피온이 SK텔레콤 인프라에 밀착하는 전략이 대표적이다.
셋째, 소프트웨어 경쟁력 확보다. 결국 CUDA를 대체하거나 보완할 수 있는 개발 환경을 만들지 못하면, 하드웨어 성능만으로는 시장을 뚫기 어렵다. 오픈소스 컴파일러 프레임워크인 MLIR이나 트리톤(Triton) 생태계에 적극 참여하는 것도 하나의 방법이다.
결국 속도가 생존을 가른다
엔비디아의 추론 시장 진출은 예고된 수순이었다. 놀라운 건 그 속도다. 한국 NPU 스타트업들이 시리즈 B, C 투자를 유치하고 양산 칩을 내놓기까지 통상 3~5년이 걸린다. 엔비디아는 6개월 단위로 로드맵을 갱신한다. 이 시간 격차가 좁혀지지 않으면, 틈새 전략마저 의미를 잃는다.
한국 반도체 업계에 필요한 건 지금 당장의 기술적 우위가 아니라, 3년 뒤에도 유효할 포지션을 확보하는 전략적 선택이다. 삼성 파운드리와의 협업, 정부 R&D 지원, 그리고 무엇보다 실제 매출로 이어질 레퍼런스 고객 확보. 이 세 가지가 동시에 맞물리지 않으면, "한국형 AI 칩"은 구호로 끝날 수 있다.
시장은 기다려주지 않는다. 엔비디아는 절대 속도를 늦추지 않는다.
