엔비디아, AI 서비스 위한 오라클 클라우드 인프라스트럭처(OCI) 도입

엔비디아는 AI 슈퍼컴퓨팅 서비스 엔비디아 DGX 클라우드(NVIDIA DGX Cloud)의 대규모 제공을 위한 최초의 하이퍼스케일 클라우드 기업으로 오라클의 OCI를 선택했다. 또한, 엔비디아는 DGX 클라우드를 통해 이용 가능한 새로운 생성형 AI 클라우드 서비스인 엔비디아 AI 파운데이션(NVIDIA AI Foundations) 또한 OCI 상에서 구동할 예정이다.

엔비디아 DGX 클라우드 및 엔비디아 AI 파운데이션 서비스는 엄격한 DGX 클라우드 표준 준수를 보장할 수 있도록 엔비디아 인증을 받은 OCI만의 고유한 슈퍼클러스터를 활용한다.

OCI 슈퍼클러스터에는 엔비디아 네트워킹에 기반하는, 레이턴시가 극히 낮은 RoCE 클러스터 OCI 컴퓨트 베어 메탈(OCI Compute Bare Metal) 및 HPC 스토리지가 포함돼 있다. OCI 슈퍼클러스터는 대규모 병렬 애플리케이션을 효율적으로 처리할 수 있는 수천 개의 OCI 컴퓨트 베어 메탈 인스턴스를 지원하도록 엔비디아가 구축 및 검증 작업을 완료했다. 이제 OCI 슈퍼클러스터 네트워킹은 총 32,768개의 A100 GPU를 사용해 최대 4,096개의 OCI 컴퓨트 베어 메탈 인스턴스까지 확장 가능하다. 엔비디아 H100 GPU(NVIDIA H100 GPUs)를 사용하는 OCI 컴퓨트 베어 메탈 인스턴스의 제한적 제공도 시작됐다.

엔비디아는 또한 오라클이 엔비디아 블루필드-3 DPU(NVIDIA BlueField-3 DPU)를 오라클 네트워킹 스택에 추가할 예정이라고 발표했다.

엔비디아 AI 파운데이션 모델 제작 서비스는 언어, 이미지, 비디오, 3D, 나아가 생물학 분야에서도 활용 가능하다. 기업들은 언어 서비스 엔비디아 네모(NVIDIA NeMo) 및 이미지, 비디오, 3D 서비스 엔비디아 피카소(NVIDIA Picasso)를 활용해 지능형 채팅 및 고객 지원, 전문 콘텐츠 제작, 디지털 시뮬레이션 등을 위한 독점적이고, 도메인 특화된, 생성형 AI 애플리케이션을 구축할 수 있다. 생물학용 AI 모델의 훈련 및 추론에 사용되는 엔비디아 바이오네모(NVIDIA BioNeMo) 클라우드 서비스는 생성형 AI 애플리케이션을 신속하게 커스터마이징 및 구축할 수 있는 도구 모음을 제공한다.

엔비디아 AI 파운데이션 및 GPT-3등의 모델 제품군을 활용해 구축된 커스텀 모델을 OCI에서 구동할 경우, OCI 슈퍼클러스터가 제공하는 다양한 이점을 누릴 수 있다. 마이크로초 단위에 불과한 레이턴시로 통신 회선의 데이터 전송 속도와 거의 동일한 성능을 얻고, RDMA에 의존하는 워크로드와 관련된 차단 문제를 해결하는 RDMA 네트워킹은 그러한 이점들 중 하나다.