엔비디아 맞춤형 HBM 메모리 'NVHBM' 발표.. 대역폭 30% 증가, 전력 15% 개선

엔비디아가 AI 가속기용 커스텀 고대역폭 메모리 기술인 NVHBM을 공개했다.

NVHBM은 기존 XPU 또는 GPU에 위치하던 HBM 메모리 컨트롤러를 HBM 스택 내부의 베이스 다이로 옮긴 것이 특징이다. 이를 통해 XPU에는 보다 작은 PHY만 배치하면 돼 메모리 인터페이스가 차지하는 실리콘 면적을 줄이고, 메모리 대역폭과 전력 효율도 개선할 수 있다는 것이 엔비디아의 설명이다.

엔비디아는 NVHBM이 JEDEC HBM4E와 비교해 PHY 및 관련 회로 면적을 최대 67% 줄일 수 있다고 설명했다. 이렇게 확보한 공간은 연산 유닛이나 캐시 등에 활용할 수 있으며, XPU 설계에 따라 연산 기능에 사용할 수 있는 다이 면적도 최대 약 25% 늘릴 수 있다는 주장이다.

메모리 성능과 전력 효율도 개선된다. 엔비디아는 NVHBM이 일반적인 HBM4E와 비교해 스택당 메모리 대역폭을 최대 30% 높이고 HBM 소비전력은 최대 15% 줄일 수 있다고 밝혔다. 대규모 AI 모델처럼 많은 데이터를 지속적으로 처리하는 환경에서는 메모리 병목을 줄이고, 동일한 전력 한도 안에서 XPU의 연산 자원을 보다 효율적으로 활용할 수 있다는 설명이다.

엔비디아는 이러한 다이 면적과 메모리 대역폭, 전력 효율 개선을 바탕으로 XPU 전체 성능을 최대 30% 높일 수 있다고 설명했다. 즉 NVHBM은 단순히 HBM 자체의 대역폭을 높이는 데 그치지 않고, 메모리 인터페이스가 차지하던 공간과 전력까지 줄여 XPU 전체 설계 효율을 끌어올리는 데 초점을 맞춘 기술이다.

이처럼 메모리 컨트롤러를 HBM 내부로 옮기면 여러 이점을 얻을 수 있지만 실제 제품으로 구현하는 문제는 별개다. HBM 업체는 다양한 고객과 제품에 공급할 수 있는 범용성을 우선해야 하기 때문에 특정 XPU에 맞춰 메모리 컨트롤러를 베이스 다이에 포함하는 구조를 독자적으로 추진하기 어렵다.

따라서 NVHBM과 같은 커스텀 HBM을 실제 제품으로 구현하려면 이를 요구하는 고객사가 별도의 설계와 검증에 필요한 비용은 물론 충분한 물량까지 뒷받침할 수 있어야 한다.

엔비디아는 막대한 AI 가속기용 HBM 수요를 바탕으로 이러한 커스텀 설계를 현실화할 수 있는 업체다. 여기에 NVHBM을 자사 제품에만 적용하는 데 그치지 않고 NVLink Fusion 생태계에도 포함시켜, 자체 XPU를 개발하는 파트너가 인터커넥트와 메모리 기술까지 선택할 수 있는 AI 가속기 생태계를 확대하려 하고 있다.

실제로 NVHBM 생태계의 첫 협력 파트너로 아마존의 반도체 설계 자회사 아나푸르나 랩스(Annapurna Labs)가 참여를 확정했다.