핵심만 빠르게, 5분 요약
개요 NVIDIA가 CES 2026에서 발표한 Vera Rubin 플랫폼은 단순히 새로운 GPU를 소개하는 차원을 넘어, AI 인프라 경쟁의 패러다임을 ‘GPU 한 개’에서 ‘랙 전체 시스템’으로 완전히 전환시켰습니다. HBM4 메모리 대역폭 22TB/s, NVLink 6의 3.6TB/s 양방향 통신, 그리고 실리콘 포토닉스까지 통합한 이 플랫폼은, 장문맥 AI 추론과 에이전트 워크로드의 메모리 병목을 근본적으로 해결하려는 NVIDIA의 전략적 선택입니다. 이 영상은 … Read more
개요 AI 인재를 영입하는데 돈다발보다 GPU 산더미가 더 효과적이라는 사실, 놀랍지 않으신가요? 메타가 정영원 박사(OpenAI), 로밍팡(애플 AI 파운데이션 모델 팀 리더)을 비롯한 핵심 AI 인재들을 수천억 원 연봉으로 영입하고 있습니다. 하지만 그들을 진짜 움직인 것은 연봉이 아니라 “1인당 사용 가능한 GPU 규모”였습니다. 메타는 슈퍼 인텔리전스 랩을 설립하며 연구원들에게 업계 최고 수준의 컴퓨팅 파워를 무제한으로 제공하겠다고 … Read more
요약 최근 OpenAI의 데이터센터 구축 선언과 SK하이닉스의 HBM 품귀 현상은 AI 인프라 전쟁이 단순한 GPU 칩 경쟁을 넘어 메모리, 패키징, 인터커넥트, 소프트웨어 전체 시스템으로 확산되었음을 보여줍니다. 이 영상에서는 AI 인프라를 구성하는 각 계층이 어떻게 서로의 발목을 잡으며 연쇄적인 병목 현상을 만들어내는지 5가지 핵심 병목 구간을 심층 분석합니다. 주요 내용 1. 병목의 출발점: GPU 연산 코어의 … Read more
요약 엔비디아가 구글 TPU의 AI 추론 시장 공세에 대응하기 위해 HBM 대신 GDDR7을 사용하는 Rubin CPX라는 새로운 칩을 발표했습니다. 이 칩은 LLM 추론의 프리필(Prefill)과 디코드(Decode) 단계를 분리하여, 긴 컨텍스트 처리에 최적화된 비용 효율적인 솔루션을 제공합니다. 주요 내용 1. Rubin CPX의 등장 배경 구글 TPU의 시장 진출: 구글이 TPU를 자체 사용뿐만 아니라 메타, AWS 등에 판매하기 … Read more
구글 TPU와 NVIDIA GPU의 비용 효율성 논쟁을 실제 수치와 방법론으로 분석합니다. 단순 토큰당 비용과 TCO 관점에서 어떻게 다른 결론이 나오는지, 하이퍼스케일 서비스부터 스타트업까지 상황별로 어떤 칩 선택이 합리적인지 비교합니다. TPU가 더 싸다는 분석들 SemiAnalysis 분석에 따르면 TPU V5e가 A100, H100보다 연산 능력과 대역폭에서 우수하며 가격 대비 성능이 훨씬 좋습니다. 구글 클라우드는 Jetstream 인퍼런스 엔진 사용 … Read more
요약 메타가 AI 인텔리전스 랩을 만들어 수천억 원의 보상으로 주요 AI 엔지니어들을 영입하고 있으며, 연봉보다 더 중요한 요소는 연구원 1인당 업계 최고 수준의 GPU 컴퓨팅 파워 제공이라는 점을 다룹니다. 주요 내용 1. 메타의 파격적인 AI 인재 영입 전략 2. GPU 컴퓨팅 파워의 중요성과 현황 2024년 기준 주요 기업들의 H100 GPU 보유 현황: 메타의 핵심 전략: … Read more