Deepseek R1 推理实测:4 块英伟达 GB300 能干 16 块 H100 的活
IT之家 8 月 27 日消息,科技媒体 WccfTech 昨日(8 月 26 日)发布博文,报道称 CoreWeave 最新测试显示,以 DeepSeek R1 推理模型实测,4 块英伟达 Blackwell 架构 GB300 芯片就能完成原需 16 块 H100 的任务,单卡吞吐量提升 6 倍。
IT之家援引博文介绍,CoreWeave 使用 Deepseek R1 推理模型,对比评估英伟达 Blackwell 架构 GB300 NVL72 和上一代 H100 GPU 的差别。归功于英伟达升级架构,增强内存和带宽,测试结果显示,GB300 在仅使用 4 块 GPU 的情况下,即可完成原本需要 16 块 H100 才能运行的任务。
GB300 NVL72 平台支持高达 37TB 的内存容量(最高可达 40TB),并配备每秒 130TB 的内存带宽。该平台为减少 GPU 间数据分割次数,采用 4 路并行设计,并通过 NVLink 和 NVSwitch 高速互连提升通信效率。
CoreWeave 指出,这不仅是 FLOPs 算力的提升,更是系统架构在实际业务场景下的效率跃迁。对于需要运行复杂模型的企业客户,GB300 NVL72 提供了更高的扩展性和更低的延迟,帮助他们更快、更经济地部署和运行 AI 服务。
延伸阅读:
人工智能创新峰会落地厦门 共绘智能未来新蓝图
来源:环球网12月12日,第六届中国人工智能大赛配套论坛在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,国家...
全球贸易稳步增长,中国跨境电商持续发力
21世纪经济报道记者 董静怡海关总署:今年前11个月我国货物贸易进出口同比增长3.6%海关总署12月8日对外公布,今年前...
美团电商入口悄然下线,战略重心转向新方向
12月15日,美团团好货业务发布内部邮件,宣布食杂零售管理团队经研究决定,暂停团好货业务,聚焦探索零售新业态。公开资料显...
AI训练新视角:CMU揭示RL在推理模型中的真正价值
机器之心报道机器之心编辑部近期,强化学习(RL)技术在提升语言模型的推理能力方面取得了显著成效。然而,后训练究竟是真正扩...
