OpenAI 首次推出免费试用推理模型 o3-mini(翻译)
编者注:o3-mini 分为大杯、中杯跟小杯(high、medium、low)。ChatGPT界面o3-mini目前是中杯,免费用户可使用。大杯编程能力超越o1-pro。它们是小模型,专为科学、数学和编程优化。但貌似还是比Deepseek贵
突破性价比,推理更进一步。
OpenAI 推出 o3-mini,这是我们推理系列中最新、最具成本效益的模型,现已在 ChatGPT 和 API 中上线。这款模型在 2024 年 12 月已预告过,它强大而快速,突破了小型模型的性能边界,在科学、数学和编程等 STEM 领域展现出卓越能力,同时保持了 OpenAI o1-mini 的低成本和低延迟。
OpenAI o3-mini 是首个支持多项开发者高需求功能的小型推理模型,包括函数调用、结构化输出和开发者消息,开箱即用,满足生产环境需求。与 OpenAI o1-mini 和 o1-preview 一样,o3-mini 也支持流式传输。此外,开发者还可选择低、中、高三种推理强度,针对具体应用场景进行优化。这种灵活性让 o3-mini 在处理复杂难题时可以“更深入思考”,或在关注低延迟时优先考虑速度。o3-mini 不支持视觉功能,视觉推理任务仍应使用 OpenAI o1。o3-mini 今日起在 Chat Completions API、Assistants API 和 Batch API 中向 API 使用级别 3-5 的部分开发者逐步开放。
ChatGPT Plus、Team 和 Pro 用户今日起即可使用 OpenAI o3-mini,企业版用户将在下周获得访问权限。o3-mini 将取代模型选择器中的 OpenAI o1-mini,提供更高的速率限制和更低的延迟,成为编码、STEM 和逻辑解题任务的理想选择。作为升级的一部分,我们将 Plus 和 Team 用户的速率限制提升三倍,从 o1-mini 的每日 50 条消息提升至 o3-mini 的每日 150 条消息。此外,o3-mini 现在支持搜索功能,可以查找最新的答案,并提供相关网络链接。这是我们在推理模型中整合搜索功能的早期原型。
今日起,免费计划用户也可在 ChatGPT 中体验 OpenAI o3-mini,只需在消息编辑器中选择“Reason”或重新生成回复即可。这是推理模型首次向 ChatGPT 免费用户开放。
OpenAI o1 仍然是我们更广泛的通用知识推理模型,而 OpenAI o3-mini 则为需要精准和速度的技术领域提供了一种专门的替代方案。在 ChatGPT 中,o3-mini 使用中等推理强度,在速度和准确性之间取得平衡。所有付费用户还可以在模型选择器中选择 o3-mini-high,获得更高智能的版本,但生成回复所需时间稍长。Pro 用户可以无限制地使用 o3-mini 和 o3-mini-high。
快速、强大,专为 STEM 推理优化
与 OpenAI o1 前代产品类似,OpenAI o3-mini 专为 STEM 推理进行了优化。中等推理强度的 o3-mini 在数学、编程和科学方面的性能与 o1 相当,但响应速度更快。专家测试人员的评估表明,与 OpenAI o1-mini 相比,o3-mini 生成的答案更准确、更清晰,推理能力更强。测试人员在 56% 的情况下更喜欢 o3-mini 的回复,并且在困难的实际问题上,主要错误减少了 39%。在中等推理强度下,o3-mini 在一些最具挑战性的推理和智能评估(包括 AIME 和 GPQA)中,性能与 o1 持平。
竞赛数学 (AIME 2024)

数学:在低推理强度下,OpenAI o3-mini 的性能与 OpenAI o1-mini 相当;在中等强度下,o3-mini 的性能与 o1 相当。而在高推理强度下,o3-mini 的性能优于 OpenAI o1-mini 和 OpenAI o1。灰色阴影区域显示了 64 个样本的多数投票(共识)性能。
博士级科学问题 (GPQA Diamond)

博士级科学:在博士级生物学、化学和物理学问题上,低推理强度的 OpenAI o3-mini 性能高于 OpenAI o1-mini。在高强度下,o3-mini 的性能与 o1 相当。
FrontierMath

研究级数学:高推理强度的 OpenAI o3-mini 在 FrontierMath 上的表现优于其前代产品。在 FrontierMath 上,当提示使用 Python 工具时,高推理强度的 o3-mini 在首次尝试中解决了超过 32% 的问题,包括超过 28% 的高难度 (T3) 问题。
竞赛代码 (Codeforces)

竞赛编程:在 Codeforces 竞赛编程中,OpenAI o3-mini 随着推理强度的提高,Elo 评分也逐步提高,均优于 o1-mini。在中等推理强度下,其性能与 o1 持平。
软件工程 (SWE-bench Verified)

软件工程:o3-mini 是我们在 SWEbench-verified 上发布的性能最高的模型。有关高推理强度下 SWE-bench Verified 结果的更多数据,包括使用开源 Agentless scaffold (39%) 和内部工具 scaffold (61%) 的结果,请参阅我们的系统卡。
LiveBench 编码

LiveBench 编码:OpenAI o3-mini 即使在中等推理强度下也超越了 o1-high,突显了其在编码任务中的效率。在高推理强度下,o3-mini 进一步扩大了领先优势,在关键指标上取得了显著更强的性能。
通用知识

通用知识:o3-mini 在通用知识领域的知识评估中优于 o1-mini。
人工偏好评估


人工偏好评估:外部专家测试人员的评估也表明,OpenAI o3-mini 生成的答案比 OpenAI o1-mini 更准确、更清晰,推理能力更强,尤其是在 STEM 领域。测试人员在 56% 的情况下更喜欢 o3-mini 的回复,并且在困难的实际问题上,主要错误减少了 39%。
模型速度与性能
OpenAI o3-mini 拥有与 OpenAI o1 相当的智能水平,同时提供更快的性能和更高的效率。除了上述 STEM 评估外,o3-mini 在中等推理强度下,在其他数学和事实性评估中也表现出更优异的结果。在 A/B 测试中,o3-mini 的响应速度比 o1-mini 快 24%,平均响应时间为 7.7 秒,而 o1-mini 为 10.16 秒。
o1-mini 与 o3-mini (中等) 延迟对比

延迟:o3-mini 的首个 token 响应时间比 o1-mini 平均快 2500 毫秒。
安全性
我们用于训练 OpenAI o3-mini 安全响应的关键技术之一是审慎对齐,即训练模型在回答用户提示之前,先对人工编写的安全规范进行推理。与 OpenAI o1 类似,我们发现 o3-mini 在具有挑战性的安全和越狱评估中,显著优于 GPT-4o。在部署之前,我们使用与 o1 相同的方法,仔细评估了 o3-mini 的安全风险,包括准备情况、外部红队测试和安全评估。感谢申请参与 o3-mini 早期访问测试的安全测试人员。以下是评估的详细信息,以及对潜在风险和缓解措施有效性的全面解释,请参阅 o3-mini 系统卡。
不允许的内容评估

越狱评估

未来展望
OpenAI o3-mini 的发布标志着 OpenAI 在推动高性价比智能的道路上又迈出一步。通过优化 STEM 领域的推理能力,同时保持低成本,我们让高质量的 AI 变得更加普及。这款模型延续了我们降低智能成本的记录——自 GPT-4 发布以来,每 token 定价降低了 95%——同时保持了顶级的推理能力。随着 AI 应用的扩展,我们将继续致力于引领前沿,构建在智能、效率和安全性之间取得平衡的模型,并实现规模化应用。