반도체

GPU만 빠르면 뭐해? HBM과 CoWoS가 없어서 못 팔게된 이유 | AI 인프라 5가지 병목

by

요약 최근 OpenAI의 데이터센터 구축 선언과 SK하이닉스의 HBM 품귀 현상은 AI 인프라 전쟁이 단순한 GPU 칩 경쟁을 넘어 메모리, 패키징, 인터커넥트, 소프트웨어 전체 시스템으로 확산되었음을 보여줍니다. 이 영상에서는 AI 인프라를 구성하는 각 계층이 어떻게 서로의 발목을 잡으며 연쇄적인 병목 현상을 만들어내는지 5가지 핵심 병목 구간을 심층 분석합니다. 주요 내용 1. 병목의 출발점: GPU 연산 코어의 … Read more

구글 TPU 막아라… HBM 없는 엔비디아 신기술 등장

by

요약 엔비디아가 구글 TPU의 AI 추론 시장 공세에 대응하기 위해 HBM 대신 GDDR7을 사용하는 Rubin CPX라는 새로운 칩을 발표했습니다. 이 칩은 LLM 추론의 프리필(Prefill)과 디코드(Decode) 단계를 분리하여, 긴 컨텍스트 처리에 최적화된 비용 효율적인 솔루션을 제공합니다. 주요 내용 1. Rubin CPX의 등장 배경 구글 TPU의 시장 진출: 구글이 TPU를 자체 사용뿐만 아니라 메타, AWS 등에 판매하기 … Read more