▣ 목차 ▣
최신 AI 반도체 H200 공개
엔비디아(Nvidia)는 월요일 생성 AI(Generative AI) 붐을 주도하는 종류의 인공 지능 모델을 훈련하고 배포하도록 설계된 그래픽 처리 장치인 H200을 공개했습니다.
새로운 GPU는 OpenAI의 가장 발전된 대규모 언어 모델인 GPT-4를 훈련하는 데 사용되는 칩인 H100의 업그레이드 재품으로 대기업, 신생 기업 및 정부 기관은 모두 고성능 AI 반도체 확보에 경재하고 있는 것으로 알려져 있습니다.
H200에는 141GB의 차세대 HBM3 메모리 탑재
- H200의 주요 개선 사항은 칩이 ”추론”을 수행하거나 텍스트, 이미지 또는 예측을 생성하도록 훈련된 후 대규모 모델을 사용하는 데 도움이 되는 141GB의 차세대 “HBM3” 메모리가 포함되어 있다는 것입니다.
▶ Nvidia는 H200이 H100보다 거의 두 배 빠른 출력을 생성할 것이라고 합니다.
▶ HBM 메모리의 기본구조는 메모리 위에 또 메모리를 쌓아 용량을 축적하고, 이를 수직으로 관통하는 전극을 설치해 통신하는 구조입니다.
▶ HBM(High Bandwidth Memory, 고대역폭 메모리)는 2008년 AMD와 SK하이닉스가 공동으로 개발을 주도한 차세대 메모리 규격으로, 2013년 10월 JEDEC(국제반도체표준협의기구)에 의해 산업 표준으로 제정됐습니다. 이후 2016년 HBM2 표준이 승인되었으며, 작년 1월에 HBM3 규격이 공식 발표됐으며, 현재는 SK하이닉스와 삼성전자, 마이크론이 HBM3을 생산하고 있습니다.
Nvidia의 AI GPU에 힘입어 이번 분기에 매출이 170% 급증 예상
- Nvidia의 AI GPU에 대한 기대감으로 인해 회사의 주가는 2023년 현재까지 230% 이상 상승
▶ Nvidia는 회계 연도 3분기에 약 160억 달러의 매출을 예상하며 이는 1년 전보다 170% 증가한 수치입니다.
▶ Raymond James의 추산에 따르면 H100 칩의 가격은 25,000~40,000달러 사이이며, ”훈련”이라는 프로세스에서 가장 큰 모델을 만들려면 수천 개의 칩이 함께 협력해야 합니다.
▶ Nvidia의 AI GPU에 대한 기대감으로 인해 회사의 주가는 2023년 현재까지 230% 이상 상승했습니다. Nvidia는 회계 연도 3분기에 약 160억 달러의 매출을 예상하며 이는 1년 전보다 170% 증가한 수치입니다.
2024년 2분기에 출시될 것으로 예상되는 H200은 AMD의 MI300X GPU와 경쟁
- AMD의 MI300X GPU 경쟁
▶ 2024년 2분기에 출시될 것으로 예상되는 H200은 AMD의 MI300X GPU 와 경쟁할 것으로 예상되며, AMD의
H200과 유사한 칩은 이전 제품에 비해 메모리가 추가되어 추론을 실행하기 위해 하드웨어에 큰 모델을 맞추는 데 도움을 줄 것이라고 예상했다.
▶ AMD가 6월 13일(미국 현지시간) 거대언어모델(LLM) 등 생성형 AI와 고성능 컴퓨팅(HPC) 가속을 위한 서버용 칩인 '인스팅트 MI300X' GPU를 공개했습니다.
▶ 인스팅트 MI300X는 CDNA 3 GPU와 192GB HBM3, 칩렛(Chiplet)당 초당 최대 896GB를 전송 가능한 인피니티 패브릭으로 구성되었으며, TSMC 5나노급(N5) 공정에서 생산된 칩렛 12개를 결합했으며 트랜지스터 수는 1천530억 개입니다.
- 리사 수 AMD CEO는 "MI300X 칩은 엔비디아 H100 대비 2.4배 더 많은 HBM을 탑재했고 대역폭은 1.6배 이상이다. 엔비디아 H100 대비 더 큰 AI 모델을 구동할 수 있다"라고 설명했습니다.
▶ AMD는 지난 1월 CES 2023을 통해 젠4 CPU 코어 24개와 CDNA 3 아키텍처 기반 GPU, 128GB HBM3(고대역폭 메모리)를 결합한 인스팅트 MI300A를 공개한 바 있습니다.
이상 엔비디아 최신 하이엔드 고성능 AI 반도체 H200 공개 관련 포스팅입니다.
도움이 되다면 공감♥ 부탁드리며, 항상 성공투자 하시길 기원합니다.
댓글