快科技4月3日音问，NVIDIA在官网暗意，在最新的MLPerf V5.0基准测试中，NVIDIA的Blackwell平台得回了令东谈主驻防的得益。
MLPerf是一个测度东谈主工智能硬件、软件和劳动性能的表率化基础测试平台，它由图灵奖得主大卫·帕特森齐集谷歌、斯坦福、哈佛大学等顶尖企业和学术机构建树，是巨擘性最大、影响力最广的外洋AI性能基准测试。
最新更新的MLPerf 添加了Llama 3.1 405B，这是最大和最难以初始的通达权重模子之一。
NVIDIA暗意，天然很多公司在其硬件上初始MLPerf基准测试以测度性能，但只好NVIDIA偏激协作伙伴提交并发布了Llama 3.1 405B基准测试的遵守。
具体来看，GB200 NVL72系统通过畅达72个NVIDIA Blackwell GPU，行为一个单一的超大GPU初始，在Llama 3.1 405B基准测试中，与H200 NVL8比拟，达成了高达30倍的蒙胧量熏陶。
据先容，在坐褥环境中，推理部署频繁受到两个要害方案的蔓延收尾：初次反映技巧（TTFT）和每个输出令牌的技巧（TPOT）。
新的Llama 2 70B Interactive基准测试将TPOT裁汰了5倍，TTFT申斥了4.4倍，模拟了更快的用户体验。
在这一测试中，NVIDIA使用8个Blackwell GPU的DGX B200系统，性能比使用8个H200 GPU的系统逾越三倍，为这一更具挑战性的Llama 2 70B基准测试设定了新的高表率。
