基准测试显示，OpenAI的Jalapeño芯片旨在大规模快速推理

在周二的Hot Chips会议上，OpenAI分享了对Jalapeño的更详细了解，包括新系统的第一批基准结果。在SemiAnalysis的InferenceX基准测试上进行测试，Jalapeño比当前可用的最先进推理处理器注册了更多的每个用户令牌和更多的每千瓦吞吐量。OpenAI硬件主管Richard Ho在新闻发布会上表示：“最重要的是，结果显示与最新技术水平相比，性能有了非常非常显着的进步。”“Jalapeño每单位功率可以为更多的人工智能工作提供服务，同时还能更快地返回响应。为大量客户提供服务非常高效，但延迟也可以非常低。”值得注意的是，这种比较是与Nvidia Blackwell系统进行的，但当Jalapeño全面部署时，竞争可能已经显着推进。Ho估计Jalapeño将在2026年底“少量”部署，更重要的部署将于2027年进行。Jalapeño于去年10月首次宣布，由OpenAI与Broadcom密切合作开发，OpenAI自己的模型协助开发过程。该公司计划将Jalapeño打造成一个多代平台，允许人工智能产品、模型、芯片和内存协同开发。由于采用全栈方法，OpenAI能够解决推理过程中经常在推理处理过程中引起摩擦的特定阶段。特别是，Jalapeño旨在最大限度地减少处理的预填充和通信阶段的延迟，OpenAI表示这通常是瓶颈。该公司在一篇展示结果的博客文章中表示：“我们设计Jalapeño是为了最大限度地减少数据移动和通信延迟。”这意味着模型状态（包括生成响应时使用的KV缓存）可以显式放置并保持在本地，同时系统为每个推理阶段激活计算、内存和网络的正确组合。

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。