엔비디아, 메가와트에서 토큰까지 AI 팩토리 생산성 극대화

엔비디아가 AI 데이터센터인 'AI 팩토리'의 전력 효율과 전력망 유연성을 높이는 '엔비디아 DSX' 플랫폼의 성과를 공개했다. DSX MaxLPS와 DSX Flex를 통해 동일한 전력 예산에서 더 많은 AI 작업을 처리하고, 전력망 상황에 따라 데이터센터의 전력 사용량을 자동으로 조절할 수 있다는 설명이다.

실제 사례도 공개됐다. 지난 8월 실리콘밸리에서 냉방 수요가 급증하자 실리콘밸리 파워는 엔비디아 Eos AI 팩토리에 전력 사용량을 줄이라는 신호를 보냈다. 에메랄드 AI의 그리드 오케스트레이션 플랫폼 '컨덕터'는 사전에 설정된 워크로드 우선순위에 따라 작업을 자동 조정했다.

우선순위가 낮은 작업은 중단하거나 처리 속도를 낮추고, 중요한 추론 작업은 계속 실행하는 방식이다. 그 결과 AI 팩토리의 전력 사용량은 4MW에서 3MW로 감소했으며, 이후 실리콘밸리 파워가 200건 이상의 수요 조정 신호를 보냈지만 모두 성공적으로 처리됐다. 신호에 대한 대응은 1분 이내에 이뤄졌다.

이는 전력망 상황에 따라 AI 팩토리의 전력 소비를 자동으로 조절할 수 있음을 보여주는 사례다. 엔비디아는 이러한 방식을 DSX Flex로 확대하고 있으며, 향후 에메랄드 AI의 컨덕터를 DSX Flex에 통합할 계획이다.

전력 효율 측면에서는 클라우드 GPU 업체 람다의 검증 결과가 공개됐다. 람다는 엔비디아 HGX B200 GPU 서버 5개 랙, 19개 노드로 구성된 클러스터에서 DSX MaxLPS를 테스트했다.

그 결과 16개 노드를 최대 전력으로 구동할 때와 동일한 전력 예산으로 19개 노드를 운영하면서 클러스터의 토큰 처리량을 초당 약 400만 개에서 500만 개로 24% 높였다. 와트당 성능도 23% 향상됐다.

DSX MaxLPS는 GPU와 랙의 전력 사용량을 실시간으로 모니터링하고, 워크로드에 따라 노드 사이의 여유 전력을 재할당하는 기술이다. 학습과 추론처럼 전력 소비 패턴이 다른 작업을 함께 처리할 때 전력을 보다 효율적으로 활용할 수 있다. 엔비디아는 적합한 환경에서 이를 활용하면 동일한 메가와트 전력 예산으로 차세대 베라 루빈 NVL72 AI 팩토리의 GPU 용량을 최대 40%까지 늘릴 수 있다고 전망했다.

엔비디아는 전력 공급 구조 자체도 개선하고 있다. AI 팩토리의 규모와 GPU 랙의 전력 밀도가 높아지면서 기존 저전압 배전 방식의 한계가 커지고 있기 때문이다. 이에 엔비디아는 전력 변환 단계를 줄이고 고밀도 가속 컴퓨팅 랙에 대응할 수 있도록 800V DC 전력 아키텍처를 DSX 레퍼런스 설계에 적용하고 있다.

DSX Flex의 첫 상업용 전용 구축 사례로는 미국 버지니아주 매너서스의 엔비디아 AI 팩토리 리서치 센터에 들어설 96MW 규모 베라 루빈 AI 팩토리가 예정돼 있다.

엔비디아는 개별 GPU나 랙만 개선하는 것이 아니라 전력, 네트워크, 냉각, 시설 설계 등을 AI 팩토리 전체 차원에서 최적화해야 한다고 강조했다. 이를 위해 설계 단계에서는 DSX Sim, 운영 단계에서는 DSX OS와 DSX Exchange 등을 제공하고, 검증된 아키텍처를 기반으로 구축할 수 있도록 DSX Reference Designs도 지원한다.

결국 엔비디아 DSX가 겨냥하는 핵심 지표는 '메가와트당 얼마나 많은 유효 작업을 처리할 수 있는가'다. 엔비디아는 전력 사용량을 단순히 줄이는 것을 넘어, 동일한 전력으로 더 많은 AI 연산을 수행하고 전력망 상황에도 유연하게 대응하는 것을 기가와트급 AI 인프라의 새로운 기준으로 제시하고 있다.