OpenAI Jalapeño 推理芯片亮相：性能功耗比与低延迟成为焦点

OpenAI 公布 Jalapeño 推理芯片测试数据

在第 37 届 Hot Chips 大会上，OpenAI 自研推理芯片 Jalapeño 成为重要技术话题之一。OpenAI 公布了首批基准测试结果，并将重点放在当前 AI 推理基础设施越来越关键的指标——单位功耗性能、吞吐量和端到端延迟——上。

按照 OpenAI 公布的测试数据，在真实模型工作负载下，Jalapeño 峰值吞吐场景的每瓦工作量提高约 1.5～1.9 倍，端到端延迟降低约 1.7～3.6 倍；对于高度交互式工作负载，性能提升约 2.1～4.1 倍。

Jalapeño 的额定功耗为 700W，但 OpenAI 表示，在相关测试运行中，其实际功耗保持在 550W 或以下。

需要注意的是，这些数字来自 OpenAI 公布的测试结果，完整的 Hot Chips 演示材料当时尚未全部公开，因此不同系统之间的具体测试条件和比较方式仍需结合更完整的技术资料理解。

Jalapeño 值得关注的不只是峰值性能。对于大模型在线推理，系统通常需要在高吞吐量和低响应延迟之间进行权衡，而 OpenAI 强调 Jalapeño 的设计目标之一，就是同时改善这两个指标。

相关技术讨论还提到，在部分测试配置中，Jalapeño 并未依赖激进的 prefill/decode 分离或**推测解码（speculative decoding）**等优化方式，却依然取得了较好的测试表现。

如果后续完整测试能够进一步验证这些结果，其意义将更多体现在推理系统整体效率，而不仅仅是单颗芯片的理论算力。

此次披露还有一个值得关注的细节：OpenAI 表示，GPT-Astra 与 Codex 被用于帮助编写和优化 Jalapeño 的底层内核代码。

据披露，团队大约用了两个月时间，让三个原本没有规划支持的开放权重模型在 Jalapeño 上实现较高性能。针对部分 Attention 和 MoE 模块，这些实现的运行速度据称比已有的人类专家编写代码快 1.5～1.8 倍。

这意味着 AI 编程能力的应用范围正在从普通应用开发进一步进入编译器、Kernel 和硬件适配优化等更底层的软件栈。模型不仅运行在计算基础设施之上，也开始参与优化承载模型自身的计算基础设施。

OpenAI 表示，Jalapeño 将在2026 年底前开始部署到自己的基础设施中。同时，第二代产品已经进入深入开发阶段，第三代也已启动。

这也反映出前沿 AI 实验室正在尝试进一步掌握推理基础设施的软硬件协同能力。不过，即使自研芯片能够改善推理经济性，先进制程、封装以及晶圆代工产能仍然是大规模部署必须面对的现实约束。

从 Jalapeño 当前披露的信息来看，大模型基础设施竞争正在从单纯追求峰值算力，进一步转向性能功耗比、延迟、吞吐量以及软硬件协同优化能力。