GPU와 HBM — 돈을 가장 많이 버는 곳

AI 데이터센터에 쏟아지는 돈은 결국 누군가의 매출이 된다. 그중 가장 큰 몫을 가져가는 곳이 GPU를 파는 엔비디아다. 엔비디아의 GPU 한 대 안에는 TSMC가 만든 칩과 SK하이닉스가 만든 메모리가 함께 들어 있다. 같은 돈이 어떤 길을 따라 미국, 대만, 한국의 회사들로 나뉘어 흘러가는지, 그리고 왜 몇몇 회사가 유난히 많이 버는지 따라가 보자.

2-1. 엔비디아는 얼마나 버나

엔비디아는 원래 게임용 그래픽카드 회사였다. 그런데 AI 붐 이후 매출의 대부분이 데이터센터에서 나오는 회사로 바뀌었다. 2023년 회계연도 약 270억 달러였던 연 매출은 2025년 회계연도 1,300억 달러를 넘었다 [확인 필요: 최신 회계연도 수치]. 2년 만에 다섯 배 가까이 커진 것이다. 그리고 매출의 80~90%가 데이터센터 부문이다.

더 놀라운 것은 이익률이다. 엔비디아의 매출총이익률은 70%를 넘는다 [확인 필요]. 물건을 하나 팔면 원가를 빼고 70% 넘게 남는다는 뜻으로, 하드웨어 회사로는 보기 드문 숫자다. 경쟁자가 따라오기 어려운 제품을 만들어서 가격을 사실상 혼자 정할 수 있기 때문이다. 이 이익 덕분에 엔비디아는 한때 세계에서 시가총액이 가장 큰 회사가 됐다. 연결: 경제·시장.

2-2. GPU 한 대 안에는 무엇이 있나

AI용 GPU, 예를 들어 엔비디아의 H100이나 블랙웰을 열어 보면 크게 세 가지가 보인다. 가운데에는 계산을 하는 GPU 칩이 있다. 엔비디아가 설계하고 대만 TSMC가 가장 앞선 공정으로 만든다. 그 옆에는 데이터를 쌓아 두는 메모리인 HBM이 여러 개 붙어 있다. 그리고 이 둘을 아주 가깝게 이어 붙이는 패키징 기술이 있다.

엔비디아 H100 PCIe 카드(2023). 겉은 카드 한 장이지만 안에 GPU 칩과 HBM이 함께 들어 있다.

엔비디아는 공장이 없는 팹리스 회사다. 그래서 GPU 한 대 값에는 TSMC가 받는 위탁생산 대금, SK하이닉스 같은 메모리 회사가 받는 HBM 대금, 패키징 비용이 함께 들어 있다. GPU 한 대가 수천만 원에 팔릴 때 그 돈이 대만과 한국으로 나뉘어 흘러가는 이유다 [확인 필요: 제품별 가격]. [반도체를 찾아서]에서 본 설계와 생산의 분업이 AI 칩에서 가장 극적으로 나타난다. 연결: 반도체.

AI 가속기 한 대의 돈 흐름 · GPU 칩(엔비디아 설계, TSMC 생산), HBM(SK하이닉스·삼성전자·마이크론), CoWoS 패키징(TSMC), 기판 — AI 가속기 한 대의 구성과 돈이 가는 곳. 가운데 칩 옆에 HBM이 붙고, 패키징이 둘을 잇는다.

2-3. HBM — 한국이 쥔 카드

HBM(고대역폭 메모리)은 D램 칩을 여러 층으로 쌓고 수천 개의 구멍(TSV)으로 위아래를 연결한 메모리다. AI 계산은 GPU가 아무리 빨라도 메모리에서 데이터를 빨리 가져오지 못하면 놀게 된다. HBM은 이 길을 아주 넓게 뚫어 준다. 그래서 AI 칩 성능을 정하는 핵심 부품이 됐다.

HBM 시장은 사실상 세 회사가 나눈다. SK하이닉스가 엔비디아에 가장 먼저, 가장 많이 공급하면서 1위에 올랐고, 삼성전자와 미국 마이크론이 뒤따른다 [확인 필요: 점유율]. 삼성전자는 메모리 1위였지만 HBM에서는 엔비디아 인증이 늦어지며 고전했다. HBM은 일반 D램보다 몇 배 비싸게 팔려서, SK하이닉스는 이 덕분에 사상 최대 실적을 냈다. 메모리 경기가 오르내리는 '사이클 산업'이 HBM 덕분에 조금 달라지고 있다는 평가도 나온다. 연결: 반도체.

SK하이닉스가 컴퓨텍스 2025에 전시한 서버용 DDR5 메모리 모듈. HBM이 아닌 일반 서버용 D램 제품이다.

2-4. TSMC와 CoWoS — 보이지 않는 병목

GPU 칩과 HBM을 하나로 묶는 기술이 TSMC의 CoWoS(칩 온 웨이퍼 온 서브스트레이트)다. 칩과 메모리를 얇은 실리콘판(인터포저) 위에 나란히 올려 아주 촘촘히 연결한다. 이 패키징을 대량으로 할 수 있는 곳이 거의 TSMC뿐이라서, 한동안 GPU 공급을 막는 가장 큰 병목이 칩 생산이 아니라 패키징이었다.

TSMC는 CoWoS 생산 능력을 해마다 두 배 가까이 늘리고 있다 [확인 필요]. 엔비디아가 이 생산 능력의 상당 부분을 미리 예약하면서, 다른 칩 회사들은 물량을 얻기 어려웠다. 칩을 설계하는 능력만큼 '생산 줄을 먼저 잡는 힘'이 중요해진 것이다. [반도체를 찾아서]에서 본 후공정이 AI 시대에 주인공으로 올라섰다. 연결: 반도체, 세계·지정학.

2-5. 서버와 네트워크 — 조립하고 잇는 회사들

GPU는 혼자 일하지 않는다. GPU 8개를 한 서버에 넣고, 그런 서버 수십 대를 한 랙에, 다시 수천 개의 랙을 하나로 묶어야 거대한 AI 모델을 학습할 수 있다. 서버를 조립하는 회사로는 대만의 폭스콘, 콴타, 위스트론과 미국의 슈퍼마이크로, 델 등이 있다. 이들은 매출은 크지만 이익률은 엔비디아보다 훨씬 낮다.

호주 CSIRO 데이터센터의 GPU 클러스터(2010). GPU 서버 수십 대를 랙에 넣어 하나로 묶었다.

수만 개의 GPU를 잇는 네트워크도 큰 시장이다. GPU끼리 데이터를 주고받는 속도가 느리면 전체가 느려지기 때문이다. 엔비디아는 이 연결 장비까지 직접 판다. 그 밖에 통신 칩을 만드는 브로드컴, 데이터센터 스위치를 만드는 아리스타, 광통신 부품 회사들이 함께 큰다. AI 투자의 돈은 칩 하나가 아니라 이 묶음 전체로 퍼진다. 연결: 경제·시장.

2-6. 한국이 버는 돈

한국 회사 중 AI 붐의 가장 큰 수혜자는 단연 SK하이닉스다. HBM 덕분에 영업이익이 크게 늘었고, 한때 영업이익에서 삼성전자를 앞서기도 했다 [확인 필요: 분기]. 삼성전자는 HBM에서 반격을 준비하는 한편, 범용 서버용 D램과 SSD 수요 증가의 덕을 본다. 두 회사의 실적은 한국 수출과 코스피를 크게 움직인다.

그 뒤에는 여러 장비·부품 회사가 있다. HBM을 쌓을 때 쓰는 열압착(TC) 본더를 만드는 한미반도체, 칩을 올리는 기판을 만드는 회사들, 그리고 데이터센터 전력 설비를 파는 HD현대일렉트릭, LS일렉트릭 같은 전력기기 회사가 AI 붐을 타고 함께 올랐다. [경제를 찾아서]에서 본 대로 한국 경제는 반도체 경기에 크게 기대는데, 그 반도체 경기를 지금 AI가 이끈다. 연결: 반도체, 전력·에너지, 경제·시장.

2-7. 힘의 논리 — 병목을 쥔 곳이 돈을 번다

AI 칩의 돈 흐름을 보면 한 가지 원리가 보인다. 대체하기 어려운 곳, 즉 병목을 쥔 곳이 가장 많이 번다. 엔비디아는 칩 설계와 소프트웨어 생태계를, TSMC는 최첨단 공정과 패키징을, SK하이닉스는 HBM 기술을 쥐고 있다. 반면 서버를 조립하는 회사는 누구나 할 수 있는 일에 가까워 이익률이 낮다.

그런데 병목은 영원하지 않다. 고객인 빅테크들은 엔비디아에 내는 돈이 너무 많다고 보고 자체 칩을 만들고 있다. TSMC는 패키징 공장을 늘리고, 삼성전자와 마이크론은 HBM 추격에 나섰다. 병목이 풀리면 이익률은 내려온다. 그래서 지금의 승자가 다음에도 승자일지를 보려면, 이 병목이 얼마나 오래 유지될지를 봐야 한다. 그런데 칩이 넘쳐도 풀리지 않는 병목이 하나 더 있다. 전기다.

핵심 정리

엔비디아는 AI 붐으로 매출이 2년 만에 다섯 배 가까이 늘었고, 매출의 대부분이 데이터센터에서 나온다. GPU 한 대 안에는 TSMC가 만든 칩, SK하이닉스·삼성전자·마이크론의 HBM, TSMC의 CoWoS 패키징이 들어 있어 돈이 대만과 한국으로 나뉜다. HBM은 SK하이닉스가 앞서고, 패키징은 오랫동안 공급의 병목이었다. 서버와 네트워크 회사들도 크지만 이익률은 낮다. 대체하기 어려운 병목을 쥔 회사가 가장 많이 번다.

칩을 아무리 많이 사도 전기가 없으면 데이터센터는 돌아가지 않는다. 다음 편에서는 AI의 마지막 병목, 전력과 냉각을 본다.

다음 편 예고 — 전력과 냉각: AI의 마지막 병목

AI 데이터센터가 전기를 얼마나 쓰는지, 왜 변압기와 전력망이 부족한지, 빅테크가 원전과 가스발전소를 직접 찾는 이유와 냉각 기술의 변화를 따라간다.

사진 출처

엔비디아 H100 PCIe 카드: 极客湾Geekerwan, CC BY 3.0 (위키미디어)
SK하이닉스가 컴퓨텍스 2025에 전시한 서버용 DDR5 메모리 모듈. HBM이 아닌 일반 서버용 D램 제품이다: 4300streetcar, CC BY 4.0 (위키미디어)
호주 CSIRO 데이터센터의 GPU 클러스터: CSIRO, CC BY 3.0 (위키미디어)

숫자 출처

엔비디아 연 매출(2023·2025 회계연도), 데이터센터 비중, 매출총이익률: 엔비디아 실적 발표, https://en.wikipedia.org/wiki/Nvidia [확인 필요: 최신 수치]
HBM 구조(TSV 적층): https://en.wikipedia.org/wiki/High_Bandwidth_Memory
HBM 점유율, CoWoS 생산 능력 증설, GPU 제품별 가격, SK하이닉스·삼성전자 분기 영업이익 비교: 기업 실적 발표·시장조사기관(트렌드포스 등) 자료로 확인 필요.