在本周的 GPU 技术大会 (GTC) 上,Nvidia 的 Blackwell Ultra 以及即将推出的 Vera 和 Rubin CPU 和 GPU 成为了讨论的焦点。但是这次年度开发者盛会最重要的公告之一可能并非芯片,而是一个名为 Dynamo 的软件框架,它旨在解决大规模 AI 推理的挑战。 在 GTC 舞台上宣布的 ...
在2025年GTC开发者大会上,NVIDIA以“AI推理新时代”为核心,发布了多款硬件与软件产品组合。从新一代GPU架构BlackwellUltra到开源推理框架Dynamo,再到硅光交换机平台,NVIDIA试图通过技术迭代与生态整合,巩固其在AI算力领域的领导地位。然而,下一代产品Rubin系列 ...
而在2026年的CES上,英伟达直接自己做了一套面向KV Cache的存储层。由于英伟达的KV Cache存储层明确采用了SSD,而当前SSD市场正受供应紧张和价格上涨的影响,本就紧俏的市场再次被推向高潮。
英伟达正式发布Dynamo,号称是“AI 工厂的操作系统”。Dynamo是一个“分布式推理服务库”。本质上,它是一个针对用户需求token而无法生产足够token之间问题的开源解决方案。黄仁勋展示了一张关于推理的图表,X轴显示用户每秒的Token数,Y轴显示工厂每秒的Token数。