개요
AI 반도체 하면 GPU를 먼저 떠올리지만, 실제로 GPU 출하량과 AI 성능을 좌우한 것은 GPU 다이 그 자체가 아니라 옆에 붙는 HBM과 이를 하나로 묶는 첨단 패키징이었습니다. 이 영상은 “왜 계산은 GPU가 하는데 메모리가 AI 시대 최대 병목이 됐는가”라는 질문에서 출발해, 컴퓨터 구조의 근본적인 메모리 병목 문제부터 HBM이 등장하게 된 과정, 그리고 2026년 현재 삼성과 SK하이닉스의 HBM4·HBM4E 경쟁까지 차근차근 짚어줍니다.
이 영상은 안될공학 채널에서 진행하는 “패치의 칩문학” 시리즈 두 번째 편으로, 지난 1편에서 GPU가 AI 시대의 주인공이 된 이유를 다룬 데 이어 이번에는 그 옆의 HBM을 주제로 삼았습니다.
핵심 내용
메모리 벽: 계산 장치보다 느린 메모리가 만든 오래된 문제
대부분의 컴퓨터는 계산하는 장치와 데이터를 보관하는 장치가 나뉜 폰 노이만 구조를 따릅니다. CPU나 GPU가 계산을 하고 D램이 계산에 필요한 명령과 데이터를 보관하는데, 계산기가 아무리 빨라도 데이터가 도착하지 않으면 일을 할 수 없다는 태생적 약점이 있습니다. 계산기가 초당 100번 일할 수 있어도 메모리가 데이터를 열 번밖에 보내주지 못하면 나머지 시간에는 계산기가 기다려야 합니다.
이 문제는 최근에 생긴 것이 아닙니다. 1995년 윌리엄 울프와 셀리 메키는 프로세서 성능에 비해 메모리 접근 성능이 충분히 따라오지 못하면 언젠가 프로세서를 더 빠르게 만들어도 시스템 성능이 높아지지 않는 벽에 부딪칠 것이라고 지적한 논문을 발표했습니다. 30년 전에 제기된 문제가 AI 시대에 훨씬 크고 선명한 산업 병목으로 돌아온 셈입니다.
캐시로 막아왔던 병목, AI 모델 앞에서 무너지다
컴퓨터는 그동안 캐시 메모리로 이 문제를 방어해 왔습니다. CPU 안에는 레지스터와 L1, L2, L3 캐시처럼 작지만 매우 빠른 메모리가 층층이 있어서, 자주 쓸 데이터를 프로세서 가까이 가져다 놓고 한 번 가져온 데이터를 최대한 반복 사용합니다. 이 방식은 방금 사용한 데이터나 그 주변 데이터를 곧 다시 사용할 가능성이 높다는 ‘데이터 지역성’을 전제로 하며, 웹브라우저나 문서 작업처럼 필요한 데이터가 제한된 프로그램에서는 잘 작동했습니다.
문제는 대형 AI 모델의 가중치가 수 기가바이트에서 수백 기가바이트에 이른다는 점입니다. 이 전체를 온칩 캐시에 담을 수는 없습니다. AI 모델 가중치도 반복 사용되긴 하지만, 그 재사용 규모가 캐시가 감당할 수 있는 범위를 훨씬 넘어섭니다.
GPU의 대역폭 전쟁: 지연시간을 숨기는 방식의 한계
GPU는 수천 개의 연산 유닛이 단순 계산을 동시에 처리합니다. 계산기 숫자를 수천 배로 늘렸다면 데이터를 공급하는 통로도 함께 넓어져야 합니다. 메모리 속도는 두 가지로 나뉘는데, 요청한 첫 데이터가 도착할 때까지의 시간인 지연시간과, 일정 시간 동안 전체 통로로 옮길 수 있는 데이터의 양인 대역폭입니다.
GPU는 한 작업이 메모리를 기다리는 동안 다른 워프를 실행하면서 지연시간을 숨깁니다. 즉 GPU는 메모리 지연시간을 없앤 칩이 아니라, 수많은 작업을 번갈아 실행하며 지연시간을 숨긴 칩입니다. 문제는 메모리 채널 자체가 포화될 때입니다. 수많은 작업이 동시에 데이터를 기다리면 바꿔 실행할 작업도 줄어들고, 그때부터 성능은 계산기 수가 아니라 전체 데이터 공급량으로 결정됩니다.
DIMM에서 SOCAMM으로: CPU 메모리의 진화
기존 서버는 D램을 DIMM이라는 모듈 형태로 꽂습니다. 용량 확장과 고장 시 교체가 쉬워 범용성과 유지보수에는 유리하지만, CPU에서 DIMM까지 이어지는 배선이 길고 고속으로 동작할수록 신호 무결성과 전력 문제가 커지고, CPU 주변에 만들 수 있는 메모리 채널 수에도 물리적 한계가 있습니다.
이 한계를 줄이기 위해 등장한 것이 SOCAMM입니다. SOCAMM은 LPDDR5X의 전력 효율을 활용하면서도 납땜하지 않고 교체할 수 있게 만든 AI 서버용 모듈입니다. 엔비디아 베라 CPU의 메모리 시스템은 최대 1.5TB 용량, 대역폭도 초당 1.5TB 수준으로 언급됐고, SK하이닉스는 2026년 4월 베라루빈용 192GB SOCAMM 양산을 시작했습니다. CPU 메모리는 교체 가능한 모듈의 유연성을 유지하면서 대역폭을 높이는 방향으로 가고 있습니다.
HBM의 원리: TSV, 인터포저, CoWoS가 만드는 첨단 패키징
HBM은 이보다 훨씬 과감한 길을 택했습니다. HBM이 빠른 이유는 D램 셀 하나하나가 일반 D램보다 압도적으로 빨라서가 아니라, 신호 한 가닥의 속도만 높이는 대신 GPU 바로 옆에 수많은 연결선을 만들어 한꺼번에 데이터를 보내기 때문입니다. HBM3 계열은 1024개의 입출력 통로를 사용했고, HBM4에서는 2048개로 두 배가 늘었습니다. HBM의 혁신은 가장 빠른 핀을 만든 게 아니라 메모리와 프로세서 사이의 연결 면적을 넓힌 것입니다.
여러 장의 D램을 쌓기 위해 TSV가 사용되는데, 일반 패키지가 다이의 신호를 범프와 기판 쪽으로 빼내 연결하는 반면 TSV는 실리콘 다이 자체를 관통해 위층과 아래층을 직접 잇습니다. 아파트 층마다 외부 복도를 길게 만드는 대신 건물 안에 수천 개 엘리베이터를 뚫은 것에 가깝다는 비유로 설명됩니다.
완성된 HBM은 DIMM처럼 범용 슬롯에 꽂지 않고, 어떤 GPU나 TPU에 몇 개를 붙일지, 신호선 배치와 전력·열 처리까지 처음부터 함께 설계합니다. 이때 GPU와 HBM 사이 수천 개 신호를 잇는 초미세 배선판이 인터포저이며, 대표 기술이 TSMC의 CoWoS입니다. CoWoS는 GPU와 HBM을 인터포저 위에 올리고 다시 패키지 기판과 결합하는 첨단 패키징 플랫폼으로, TSMC의 CoWoS-S는 약 2,700제곱mm, 최대 3.3배 레티클 크기의 실리콘 인터포저까지 지원합니다. 레티클은 노광 장비가 한 번에 회로를 찍을 수 있는 최대 면적인데, AI GPU 하나가 이 크기에 가까워지고 그 옆에 HBM을 여러 개 배치하려면 인터포저는 레티클보다 훨씬 커져야 합니다.
HBM 생산이 어려운 이유: 좋은 다이를 망가뜨리지 않고 쌓기
인터포저도 웨이퍼 위에서 생산되기 때문에 한 달에 만들 수 있는 수량이 한정돼 있고, GPU와 HBM을 정확히 접합하는 장비, 대형 기판, 패키지가 휘는 워피지 제어, 열 관리, 검사 능력까지 모두 필요합니다. GPU 웨이퍼와 HBM이 준비돼 있어도 CoWoS 생산 능력이 부족하면 AI 가속기는 완성되지 못합니다.
HBM 자체를 만드는 과정도 쉽지 않습니다. 여러 장의 D램을 쌓기 전에 먼저 각 다이가 정상인지 검사하며, 이때 정상으로 판정된 다이를 KGD(Known Good Die)라고 부릅니다. 불량 다이를 모르고 쌓으면 나머지 정상 다이와 본딩 비용까지 모두 날릴 수 있습니다. 좋은 다이만 모았다고 좋은 HBM이 되는 것도 아닙니다. 다이를 얇게 깎는 과정에서 휘거나 깨질 수 있고, TSV가 제대로 연결되지 않거나 적층 정렬이 어긋나면 완성된 스택이 불량이 되어 버립니다. HBM은 좋은 D램을 만드는 경쟁이면서 동시에 이미 좋은 다이를 망가뜨리지 않고 잘 쌓는 경쟁이기도 합니다.
연산강도와 루프라인 모델: 계산이 빨라질수록 메모리가 더 아프게 걸리는 이유
메모리 병목을 이해할 때 중요한 개념이 연산강도입니다. 메모리에서 데이터 1바이트를 가져왔을 때 그 데이터로 계산을 몇 번 할 수 있는지를 뜻하며, 한 번 가져와서 수백 번 재사용하면 계산 성능이 병목이 되지만 몇 번 못 쓰고 다음 데이터를 불러와야 하면 메모리 대역폭이 병목이 됩니다. 이를 표현한 것이 루프라인 모델로, 성능 그래프에는 메모리 대역폭이 만드는 천장과 GPU 연산력이 만드는 수평 천장이 함께 존재합니다.
AI 칩은 텐서코어와 FP8, FP4 같은 저정밀 연산으로 계산 성능을 매우 빠르게 높였습니다. 문제는 최대 연산 성능이 메모리 대역폭보다 훨씬 빠르게 올라가면 루프라인의 경계도 오른쪽으로 이동한다는 점입니다. 예전에는 계산 성능에 막히던 작업이 더 빠른 GPU에서는 오히려 메모리에 먼저 막혀버립니다. 메모리가 갑자기 느려진 게 아니라 계산기가 메모리보다 훨씬 빠르게 앞서간 것입니다.
LLM 추론과 웨이트 스트리밍: 토큰 생성 속도를 결정하는 대역폭
생성형 AI 추론에서는 이 문제가 더 선명해집니다. 대규모 학습은 같은 모델 가중치를 많은 데이터에 반복 적용해 큰 행렬 연산을 만들기 쉽지만, 챗봇이 토큰을 하나씩 생성하는 디코드 단계에서는 배치가 작을수록 HBM에서 읽어온 가중치를 충분히 재사용하지 못합니다. 거대한 가중치를 읽어와 상대적으로 적은 계산만 하고 다음 가중치로 넘어가 버리는 이 현상을 ‘웨이트 스트리밍’이라 부릅니다.
영상은 배치 1의 조밀한 모델을 한 GPU에서 실행하고 토큰 하나를 만들 때마다 100GB의 가중치를 사실상 한 번씩 읽어야 한다고 단순화합니다. HBM 대역폭이 초당 1TB라면 메모리 이동만 놓고 봐도 초당 약 10토큰이 이론적 상한에 가까워지며, GPU에 계산 코어를 더 넣어도 가중치가 아직 도착하지 않으면 토큰 생성 속도는 같은 비율로 빨라지지 않습니다. 그래서 일부 LLM 추론에서는 최대 플롭스보다 HBM 대역폭이 실제 체감 성능을 더 잘 설명합니다.
계층적 메모리 구조와 삼성 vs SK하이닉스의 HBM4 경쟁
용량도 중요합니다. 모델이 HBM에 들어가지 않으면 일부 데이터를 CPU 메모리나 SSD에서 가져와야 하는데, PCIe를 거치는 순간 통로는 훨씬 좁아집니다. 문맥 길이와 사용자 수가 늘어나면 KV 캐시가 차지하는 용량도 커집니다. 그래서 최신 AI 시스템은 GPU 옆에 HBM만 쓰지 않고 CPU 쪽 SOCAMM, CXL 메모리, SSD를 계층적으로 사용하려 합니다. 엔비디아 베라루빈도 CPU의 LPDDR5X와 GPU의 HBM4를 NVLink-C2C로 연결하고, KV 캐시를 CPU 메모리 쪽으로 옮기는 방식까지 활용합니다.
HBM4에서는 D램과 GPU 사이 신호와 전력을 관리하는 베이스 다이의 역할도 훨씬 커졌습니다. 입출력이 2048개로 늘고 고객별 요구가 달라지면서 베이스 다이는 단순한 받침대가 아니라 고객의 가속기에 맞춘 로직 칩에 가까워지고 있습니다. 삼성은 HBM4에 자체 파운드리의 4나노 베이스 다이를 적용했고, SK하이닉스는 TSMC와의 협업을 확대했습니다.
2026년 HBM4 경쟁이 이런 변화를 잘 보여줍니다. 삼성은 5세대 D램과 4나노 베이스 다이를 적용한 HBM4를 2026년 2월 양산·상업 출하하기 시작했으며, 안정 속도는 핀당 약 11.7Gbps~최대 13Gbps 수준(자막상 중간 수치는 정확히 인식되지 않음), 스택당 최대 대역폭은 초당 3.3TB로 언급됐습니다. SK하이닉스는 검증된 5세대 D램과 어드밴스드 MR-MUF 공정을 기반으로 10Gbps 이상의 속도와 이전 세대 대비 40% 이상 개선된 전력 효율을 제시하며 양산 체제를 구축했습니다. 삼성은 최신 공정을 통한 성능 헤드룸을, SK하이닉스는 축적된 적층 양산 경험을 앞세운 셈입니다.
경쟁은 이미 HBM4E로 넘어갔습니다. 삼성은 5월, SK하이닉스는 6월에 12단 HBM4E 샘플을 고객에게 출하했고, 두 회사 모두 핀당 최대 16Gbps를 제시했습니다. 최고 속도, 전력 효율, 본딩 수율, 고객 인증, 공급 물량은 서로 다른 경쟁 지표라 어느 한 회사가 완전히 이겼다고 단정하기는 어렵습니다. 실제로 SK하이닉스는 엔비디아와 차세대 메모리 공동 개발·공급을 위한 협력을 발표했고, 삼성도 브로드컴과 HBM·파운드리·첨단 패키징을 함께 다루는 전략적 협력을 발표했습니다.
실전 가이드
이 영상의 프레임을 실제로 AI 인프라나 반도체 관련 의사결정에 적용해볼 수 있습니다:
시나리오 1: AI 서버·클라우드 GPU 인스턴스를 비교할 때
스펙표에서 플롭스 수치만 보지 말고 HBM 대역폭과 용량을 함께 확인합니다. 특히 LLM을 실시간으로 서빙하는 용도라면, 영상에서 설명한 것처럼 디코드 단계의 토큰 생성 속도는 계산 성능보다 HBM 대역폭에 더 크게 좌우됩니다. 같은 GPU 세대라도 HBM 용량·대역폭이 다른 모델(예: HBM 탑재량 차이)이 있다면 워크로드 성격(학습 vs 실시간 추론)에 맞춰 선택합니다.
시나리오 2: 반도체 관련주(삼성전자, SK하이닉스 등)의 HBM 경쟁력을 판단할 때
속도(Gbps)나 대역폭 숫자 하나만으로 우열을 가리지 말고, 본딩 수율, 고객 인증 진행 상황, 공급 물량, 그리고 엔비디아·브로드컴 같은 고객사와의 공동 개발 협력 관계까지 함께 살펴봅니다. 영상에서 설명하듯 HBM 경쟁은 이제 메모리 회사 혼자 치르는 경기가 아니라 GPU·패키징·고객사가 얽힌 시스템 경쟁이기 때문입니다.
시나리오 3: 사내에서 LLM 추론 인프라 도입을 검토할 때
모델 가중치 크기와 목표 배치 크기, HBM 용량을 먼저 계산해 모델이 HBM 안에 온전히 들어가는지 확인합니다. 만약 HBM 용량을 초과해 CPU 메모리나 SSD로 데이터를 내려야 하는 상황이라면, PCIe 구간에서 대역폭이 크게 줄어든다는 점을 감안해 KV 캐시 오프로딩이나 HBM, CXL, SSD를 조합한 계층적 메모리 구조 적용 여부를 함께 검토합니다.
비판적 검토
영상은 폰 노이만 구조의 메모리 벽이라는 오래된 개념부터 캐시, GPU 병렬성, TSV·인터포저·CoWoS 같은 패키징 기술, 그리고 루프라인 모델과 웨이트 스트리밍까지 하나의 논리적 흐름으로 엮어 설명한 점이 인상적입니다. 아파트 엘리베이터 비유로 TSV를 설명하거나, 배치 1 모델의 토큰 생성 속도를 구체적 수치로 계산해 보여준 부분은 추상적인 개념을 체감하게 해줍니다.
다만 이 영상은 자동 생성 자막을 기반으로 하고 있어 일부 숫자(예: 엔비디아 베라 CPU의 대역폭 단위, 삼성 HBM4의 중간 속도 구간)가 정확히 전사되지 않았을 가능성이 있습니다. 또한 HBM 가격, 실제 웨이퍼 원가나 수율 수치, 개별 투자자 관점에서의 밸류에이션 논의는 다루지 않았으므로, 투자 판단에 활용하려면 별도의 재무 자료 확인이 필요합니다. 영상 스스로도 예고했듯, 다음 편에서 다룰 CUDA·NVLink·서버 생태계까지 함께 봐야 엔비디아의 경쟁력을 온전히 이해할 수 있습니다.
데이터 기반 인사이트
- 1995년 윌리엄 울프와 셀리 메키가 발표한 논문에서 프로세서 성능 대비 메모리 접근 성능이 따라오지 못하면 시스템 성능이 정체되는 ‘벽’에 부딪힐 것이라고 지적
- HBM3는 1024개, HBM4는 2048개의 입출력 통로 사용 (두 배 증가)
- 엔비디아 베라 CPU 메모리 시스템: 최대 1.5TB 용량, 대역폭도 초당 1.5TB 수준으로 언급
- SK하이닉스, 2026년 4월 베라루빈용 192GB SOCAMM 양산 시작
- TSMC CoWoS-S: 약 2,700제곱mm, 최대 3.3배 레티클 크기의 실리콘 인터포저 지원
- 예시 계산: 토큰당 100GB 가중치, HBM 대역폭 초당 1TB 가정 시 → 초당 약 10토큰이 이론적 상한
- 삼성 HBM4: 2026년 2월 양산·상업 출하 시작, 안정 속도 핀당 약 11.7~최대 13Gbps, 스택당 최대 대역폭 초당 3.3TB
- SK하이닉스 HBM4: 10Gbps 이상 속도, 이전 세대 대비 40% 이상 전력 효율 개선
- HBM4E 12단 샘플: 삼성 5월, SK하이닉스 6월 고객 출하, 두 회사 모두 핀당 최대 16Gbps 제시
- SK하이닉스-엔비디아 차세대 메모리 공동 개발·공급 협력 발표, 삼성-브로드컴 HBM·파운드리·첨단 패키징 전략적 협력 발표
핵심 요점
영상을 본 후 기억해야 할 다섯 가지:
- 메모리 병목은 AI 시대에 새로 생긴 문제가 아니라 1995년부터 지적된 ‘메모리 벽’ 문제가 대형 AI 모델의 등장으로 훨씬 크고 선명하게 드러난 것입니다.
- AI 모델 가중치가 캐시로 감당할 수 없을 만큼 커지면서, GPU의 연산 성능이 아무리 좋아져도 데이터가 제때 도착하지 않으면 성능이 나오지 않는다는 점을 기억해야 합니다.
- HBM의 본질은 ‘빠른 핀’이 아니라 ‘GPU와의 연결 면적을 극단적으로 넓힌 구조’이며, TSV·인터포저·CoWoS 같은 첨단 패키징 없이는 완성될 수 없습니다.
- LLM 실시간 추론(디코드 단계)에서는 플롭스보다 HBM 대역폭이 토큰 생성 속도를 더 직접적으로 결정하므로, 인프라를 고를 때 이 지표를 함께 확인해야 합니다.
- HBM 경쟁은 이제 D램 속도 경쟁을 넘어 베이스 다이 설계, 패키징 수율, 고객사(엔비디아, 브로드컴 등)와의 공동 개발까지 얽힌 시스템 경쟁으로 바뀌고 있으며, 삼성과 SK하이닉스는 서로 다른 강점(공정 헤드룸 vs 적층 양산 경험)을 앞세우고 있습니다.
요약자 노트
- 본 요약은 유튜브 자동 생성 자막(한국어)을 기반으로 작성했습니다.
- 자막이 자동 생성된 특성상 일부 숫자·단위(예: 엔비디아 베라 CPU 대역폭 단위, 삼성 HBM4 중간 속도 구간)가 정확히 인식되지 않았을 가능성이 있어 본문에 별도로 표기했습니다.
- HBM, GPU, TSV, CoWoS, NVLink, SOCAMM 등 원어 발음이 불분명하게 전사된 고유명사는 실제 업계에서 통용되는 표기로 정리했습니다.
- 추출일: 2026년 8월 30일
참고자료
- 1995년 윌리엄 울프와 셀리 메키가 발표한 메모리 병목 관련 논문 (영상 내 언급)
- 안될공학 채널의 “패치의 칩문학” 시리즈 1편 (GPU가 AI 시대 주인공이 된 이유)
- 다음 편 예고: “패치의 칩문학” 3편 – 엔비디아의 진짜 해자는 GPU가 아니라 시스템인가 (CUDA, NVLink, 서버·생태계 다룰 예정)