Được thiết kế cho hiệu suất suy luận AI

NVIDIA GB300 NVL72 có kiến trúc quy mô giá đỡ làm mát hoàn toàn bằng chất lỏng, tích hợp 72 GPU NVIDIA Blackwell Ultra và 36 CPU NVIDIA Grace™ dựa trên Arm® vào một nền tảng duy nhất. Hệ thống cung cấp FLOPS FP4 Tensor Core dày đặc hơn 1,5 lần và hiệu suất chú ý cao hơn 2 lần so với GPU NVIDIA Blackwell. Nó được xây dựng có mục đích cho các tác vụ suy luận mở rộng quy mô thời gian thử nghiệm và suy luận AI. Các nhà máy AI được tăng tốc bởi GB300 NVL72 — tận dụng NVIDIA Quantum-X800 InfiniBand hoặc Spectrum-X™ Ethernet, ConnectX-8 SuperNIC™s và quản lý NVIDIA Mission Control — mang lại hiệu suất đầu ra tổng thể của nhà máy AI tăng tới 50 lần so với các nền tảng dựa trên NVIDIA Hopper.

Hiệu suất bay

Tăng hiệu suất đầu ra của nhà máy AI lên gấp 50 lần

DeepSeek-R1 ISL = 32K, OSL = 8K, GB300 NVL72 với phân tách FP4 Dynamo. H100 với FP8 In-flight batching. Hiệu suất dự kiến có thể thay đổi.

Trải nghiệm hiệu suất suy luận AI cấp độ tiếp theo với nền tảng NVIDIA GB300 NVL72. So với Hopper, GB300 NVL72 mang lại khả năng phản hồi của người dùng (TPS trên mỗi người dùng) tăng gấp 10 lần và cải thiện thông lượng gấp 5 lần (TPS trên megawatt (MW)). Cùng với nhau, những tiến bộ này chuyển thành một bước nhảy vọt đáng chú ý gấp 50 lần trong sản lượng tổng thể của nhà máy AI.

Tăng tốc độ tạo video thời gian thực lên 30 lần

GB300 NVL72 giới thiệu các khả năng tiên tiến cho các mô hình tạo video dựa trên khuếch tán. Một chuỗi tạo video dài năm giây xử lý 4 triệu mã thông báo, cần gần 90 giây để tạo trên GPU NVIDIA Hopper. Nền tảng Blackwell Ultra cho phép tạo video thời gian thực từ các mô hình nền tảng thế giới, chẳng hạn như NVIDIA Cosmos™, mang lại hiệu suất cải thiện gấp 30 lần so với Hopper. Điều này cho phép tạo video tùy chỉnh, chân thực, ổn định về mặt thời gian và không gian cho các ứng dụng AI vật lý.

Hiệu suất dự kiến có thể thay đổi. Hiệu suất tương đối được biểu thị dưới dạng khung hình trên giây trên mỗi GPU. Tạo video 5 giây bằng Cosmos-1.0-Diffusion-7B-Video2World 720p 60 FPS.

Tính năng

Đột phá công nghệ

Tự động hóa các tính năng cần thiết với NVIDIA Mission Control

NVIDIA Mission Control hỗ trợ mọi khía cạnh của hoạt động của nhà máy NVIDIA GB300 NVL72 AI, từ điều phối khối lượng công việc trên miền NVLink 72 GPU đến tích hợp với các cơ sở. Nó mang lại sự linh hoạt ngay lập tức cho suy luận và đào tạo đồng thời cung cấp thông tin toàn diện cho khả năng phục hồi của cơ sở hạ tầng. Mission Control cho phép mọi doanh nghiệp chạy AI với hiệu quả siêu quy mô, tăng tốc thử nghiệm AI.