엔비디아는 왜 독주하나 — GPU와 CUDA

AI 칩 시장에서 엔비디아의 점유율은 80~90%로 알려져 있다. 반도체 산업에서 한 회사가 이 정도로 시장을 쥔 일은 드물다. AMD와 인텔 같은 오래된 칩 회사도, 돈이 넘치는 빅테크도 쉽게 따라잡지 못한다. 엔비디아는 어떻게 이 자리에 올랐고, 그 자리를 지키는 힘은 칩일까 소프트웨어일까? GPU와 CUDA, 그리고 도전자들을 따라가 보자.

1-1. 그래픽카드 회사가 AI의 주인공이 되기까지

엔비디아는 1993년 미국에서 젠슨 황 등이 세운 회사다. 처음에는 컴퓨터 게임의 화면을 그리는 그래픽 칩, 즉 GPU를 만들었다. 게임 화면은 수백만 개의 점을 동시에 계산해야 해서, GPU는 단순한 계산을 한꺼번에 많이 하도록 만들어졌다.

이 특징이 AI와 맞아떨어졌다. AI 모델의 학습은 거대한 숫자 표(행렬)를 곱하고 더하는 일을 끝없이 반복하는 것이다. 2012년 GPU로 학습한 이미지 인식 모델(알렉스넷)이 대회에서 압도적인 성적을 내면서, 연구자들이 GPU로 몰렸다. 그리고 2022년 챗GPT가 나오며 GPU는 연구실 장비에서 산업의 핵심 자원이 됐다. 연결: AI.

1-2. GPU는 왜 AI에 맞나

컴퓨터의 두뇌인 CPU는 복잡한 일을 순서대로 빠르게 처리하는 소수의 강한 일꾼에 가깝다. 반면 GPU는 단순한 일을 동시에 처리하는 수천 명의 일꾼에 가깝다. AI 계산은 하나하나는 단순한 곱셈과 덧셈이지만 그 양이 엄청나서, 수천 명이 나눠서 하는 쪽이 훨씬 빠르다.

엔비디아는 여기서 멈추지 않고 칩을 AI에 맞게 바꿔 왔다. 행렬 계산만 전문으로 하는 회로(텐서 코어)를 넣고, 메모리를 HBM으로 바꾸고, 칩 여러 개를 하나처럼 묶는 연결 기술(NV링크)을 만들었다. 지금 엔비디아가 파는 것은 칩 하나가 아니라 칩과 메모리, 연결 장비, 소프트웨어를 묶은 시스템이다. 연결: 반도체.

1-3. CUDA — 보이지 않는 해자

엔비디아의 진짜 무기로 자주 꼽히는 것은 칩이 아니라 CUDA다. CUDA는 2006년 엔비디아가 내놓은 소프트웨어 도구로, 개발자가 GPU를 게임이 아닌 일반 계산에 쓸 수 있게 해 준다. 당시에는 돈이 되지 않는 투자로 보였지만, 엔비디아는 이를 무료로 풀고 대학과 연구소에 꾸준히 보급했다.

그 결과 지난 20년 가까이 AI 연구자와 개발자 수백만 명이 CUDA로 코드를 짰다. 파이토치 같은 AI 개발 도구도 CUDA 위에서 가장 잘 돌아간다. 다른 회사의 칩이 더 싸거나 빨라도, 이 코드와 도구, 그리고 익숙한 개발자들을 옮기는 비용이 크다. 성을 둘러싼 물길처럼 경쟁자를 막는 이런 힘을 해자라고 부른다. 엔비디아의 해자는 칩보다 소프트웨어 생태계에 있다. 연결: AI.

1-4. 학습과 추론 — 싸움터가 둘이다

AI 칩의 일은 크게 둘이다. 하나는 학습, 엄청난 데이터로 모델을 만드는 일이다. 다른 하나는 추론, 다 만든 모델로 사용자의 질문에 답하는 일이다. 학습은 수만 개의 칩을 몇 달씩 묶어 돌리는 큰 작업이라, 칩과 연결 기술, 소프트웨어가 모두 갖춰진 엔비디아가 특히 강하다.

추론은 사정이 조금 다르다. 사용자가 늘수록 추론에 드는 칩이 학습보다 더 많아지고, 여기서는 속도와 함께 전기 대비 성능과 가격이 중요해진다. 이미 만든 모델을 돌리는 일이라 CUDA에 덜 묶이기도 한다. 그래서 도전자들은 대부분 추론 시장을 먼저 노린다. AI 서비스가 넓게 퍼질수록 추론 시장이 커지고, 그만큼 경쟁의 문도 넓어진다. 연결: AI.

1-5. AMD와 인텔 — 오래된 경쟁자들

엔비디아에 가장 가까운 경쟁자는 AMD다. AMD는 게임용 그래픽카드에서 오랫동안 엔비디아와 싸워 왔고, AI용 가속기 인스팅트 MI300 시리즈로 데이터센터 시장에 들어왔다. 메모리를 더 많이 붙이는 전략으로 일부 빅테크와 오픈AI를 고객으로 잡았다 [확인 필요: 계약 내용]. 소프트웨어 약점을 메우려고 CUDA에 맞서는 공개 소프트웨어(ROCm)를 키우고 있다.

CPU의 강자였던 인텔은 AI 칩에서 고전하고 있다. 가우디라는 AI 가속기를 내놨지만 점유율은 작고, 회사 전체가 실적 부진과 구조조정을 겪었다 [확인 필요]. 이 두 회사의 사례는 칩 설계 능력만으로는 엔비디아를 따라잡기 어렵다는 것을 보여 준다. 칩, 소프트웨어, 고객과의 신뢰가 함께 쌓여야 한다. 연결: 반도체.

1-6. 국경이 그은 시장 — 중국

엔비디아에게 큰 시장이었던 중국은 미국의 수출 규제로 막혔다. 미국은 최고 성능의 AI 칩이 중국의 군사·AI 기술로 흘러가는 것을 막으려고 수출을 제한했다. 엔비디아는 성능을 낮춘 중국용 칩을 만들어 팔았지만, 규제가 바뀔 때마다 판매가 막히고 풀리기를 반복했다 [확인 필요: 최신 규제 상황].

그 빈자리를 중국 회사들이 노린다. 화웨이의 어센드 칩이 대표적이고, 중국 정부는 자국 기업에 국산 AI 칩을 쓰라고 권하고 있다. 중국이 자체 생태계를 키우면 엔비디아는 큰 시장을 잃는 셈이다. 다만 중국도 최첨단 공정 장비와 HBM을 구하기 어려워 성능 격차를 줄이는 데 한계가 있다. 엔비디아의 점유율은 기술만이 아니라 국경으로도 정해진다. 연결: 세계·지정학, 반도체.

1-7. 힘의 논리 — 플랫폼을 쥔 자

엔비디아의 독주는 플랫폼의 힘을 보여 준다. 마이크로소프트의 윈도우나 애플의 아이폰처럼, 많은 사람이 그 위에서 일하면 그 자체가 진입 장벽이 된다. 엔비디아는 하드웨어 회사이지만, 실제로는 개발자와 고객을 묶어 두는 플랫폼 회사처럼 움직인다. 70%가 넘는 이익률은 그 플랫폼 값이다.

그런데 플랫폼의 가장 큰 위협은 대개 고객에게서 나온다. 엔비디아 칩을 가장 많이 사는 빅테크들은 엔비디아에 내는 돈이 너무 많다고 본다. 그래서 그들은 직접 칩을 만들기 시작했다. 엔비디아의 가장 큰 고객이 가장 무서운 경쟁자가 되고 있는 것이다. 연결: AI, 경제·시장.

핵심 정리

엔비디아는 게임용 GPU에서 출발해, 단순한 계산을 동시에 많이 하는 GPU의 특징 덕분에 AI의 주인공이 됐다. 진짜 무기는 2006년 내놓은 CUDA와 그 위에 쌓인 개발 생태계라는 해자다. AI 칩의 싸움터는 학습과 추론 둘이고, 도전자들은 추론 시장을 먼저 노린다. AMD가 추격하고 인텔은 고전하며, 중국 시장은 미국의 수출 규제로 막혔다. 엔비디아는 플랫폼처럼 움직이고, 가장 큰 위협은 고객인 빅테크에게서 온다.

그렇다면 빅테크는 어떤 칩을 만들고 있고, 한국의 AI 칩 회사들은 어디까지 왔을까? 다음 편에서 엔비디아에 도전하는 칩들을 본다.

다음 편 예고 — 빅테크의 자체 칩과 한국의 도전

구글 TPU와 아마존 트레이니엄은 왜 만들어졌는지, 브로드컴이 왜 AI 칩 회사가 됐는지, 리벨리온과 퓨리오사AI 같은 한국 AI 칩 회사가 어떤 길을 가는지 따라간다.

사진 출처

• 대만 컴퓨텍스 무대에 선 엔비디아 CEO 젠슨 황: Masaru Kamikura, CC BY 2.0 (위키미디어)
• 구글 TPU 3.0 보드: Zinskauf, CC BY-SA 4.0 (위키미디어)

숫자 출처

• 엔비디아 설립(1993년), CUDA 출시(2006년): https://en.wikipedia.org/wiki/Nvidia, https://en.wikipedia.org/wiki/CUDA
• 알렉스넷(2012년): https://en.wikipedia.org/wiki/AlexNet
• AI 칩 시장 점유율(80~90%), 엔비디아 매출총이익률, AMD-오픈AI 계약, 인텔 가우디 점유율, 중국용 칩 수출 규제 현황: 기업 실적 발표·시장조사기관·보도로 확인 필요.