新智元报谈新澳门六合彩内部资料

裁剪：智子 乔杨

【新智元导读】斯坦福大学最近的一项盘考发现，尽管o1-preview在数学、代码等边界才略逆天，但只消对数学竞赛的题目稍修改，模子解答的准确率竟会坐窝下落30%。

在数学竞赛的边界里，普特南数学竞赛的气势可谓天地知名。 它由William Lowell Putnam家眷发起，自1938年首届举办以来，历经66年的岁月千里淀，决然成为全球大学生数学精英们一较高低的顶级赛场。

好意思国数学会的用心掌握，加上哈佛大学、多伦多大学等名校学子的奋勇参与，让这项赛事的桂冠成为多数学子心荡神驰的盛誉，其泰斗性和挑战性，那是获得了全球学界的公认。

而最近，来自斯坦福的一项盘考，却让群众惊掉了下巴：只是对题目中的变量、常量等因素稍作修改，大模子「尖子生」o1-preview模子的准确率就坐窝大幅下落，降幅高达 30%！

原文持续：https://openreview.net/forum?id=YXnwlZe0yf&noteId=yrsGpHd0Sf

这就好比一位武林高东谈主，常常在熟悉的招式里权威八面，一朝敌手换个路数，就立马乱了阵地。这不禁让东谈主趣味，这些难住最强推理模子的变体题，到底藏着怎样的玄机？

北好意思最难数学竞赛题「变脸」，AI有点懵

OpenAI的o1-preview模子自出谈以来，凭借超强的推理才略，在各个边界大杀四方。

就拿编程来说，在Codeforces编程竞赛这个「高东谈主如云」的赛场上，它的Elo评分高达 1807，把93%的竞争敌手齐远远甩在死后新澳门六合彩内部资料，写起代码来又快又准，就像一位教会庄重的法子员。

在数学边界更是展现出了惊东谈主的实力。2024年的好意思国数学邀请赛（AIME）题目集上，o1-preview的正确率高达83%，相等于全好意思参赛选手top500的水平。

医学会诊方面，哈佛医学院和斯坦福大学构成的科研团队曾对o1-preview进行过全处所的 「观望」，效用令东谈主惊奇：在生成会诊意见、会诊临床推理和惩办推理这些要津任务上，它甚而越过了东谈主类大夫。靠近复杂的病例，它能快速分析症状、病史等信息，并给出准确的会诊提倡。

相干词，便是这么一个在多边界「开挂」的模子，在靠近普特南数学竞赛题的变体时，却仿佛迷失了标的。

在原始题目上，o1-preview本能达到41.95%的准确率，而一朝题目中的变量、常量被修改，准确率就像坐了滑梯一样，直线下落约30%。

这高大的反差，背后其实有着深档次的原因。普特南竞赛题本就以超高的难度、私有的出题念念路著称，原始题目和变体题目之间，固然看似只消幽微的区别，但这些转变时常触及到数学主见的深档次期骗和逻辑结构的深奥变换。

o1-preview模子在张望经由中，可能更多是对常见的数学题型、编程样式、医学案例进行学习和优化，关于这种有益策画、十分险诈的变体题，短缺敷裕的「叮咛教会」，难以连忙收拢问题的要津，从而导致准确率大幅下滑。

Putnam-AXIOM基准，AI数学才略的「试金石」

为了更准确深入地评估AI大模子的数学才略，盘考团队用心打造了Putnam-AXIOM Original基准，收纳了来自积年普特南数学竞赛（Putnam）的236个数常识题，从复杂的代数变换到精妙的几何阐扬，从轮廓的数论贫苦到幻化莫测的组合数学谜题，无一不是对东谈主类贤慧极限的挑战。

但这项基准的价值远不啻于收录原题，更横蛮的是，盘考者们策画了一套深奥的法子化修改机制，不错对问题中的变量、常量等要津因素进行修改，从而生成无尽多个全新且难度相等的问题。

比如说，把一个几何问题中的边长数值进行变换，粗略转变函数题中的参数取值范围，这些看似轻飘的转机，却能让通盘这个词问题的解法旅途大不疏导。

况兼，这些重生成的题目从未在互联网上出现过，因此也弗成能线路到任何模子的张望数据聚积，统共阻绝了AI靠 「死记硬背」谜底来舞弊的可能，真实作念到了对 AI 数学推理才略的精确探伤。

在这个新策画的基准上，盘考东谈主员大范围聘请了多样模子进行测试，包括OpenAI的o1-preview、GPT-4和GPT-4o，Anthropic的旗舰模子Claude-3.5 Sonnet，Llama、Qwen的等有影响力的开源模子，以及Gemma、Mistral、DeepSeek、Numina等以数学才略著名的开源模子。

最初，将Putnam-AXIOM基准中的236谈原题输入给各个模子，记载它们的解题技术、推理方法以及最终谜底，算出准确率。接着，把经过法子化修改后的变体题抛给这些模子，相同严格记载解题经由中各项数据。

在原始题目上，o1-preview模子以41.95%的准确率暂居榜首，可一朝切换到变体题，它的准确率就「跳水」到了 11.95%傍边，足足下落了30个百分点。

其他模子的准确率滑坡也相等权臣，但值得提神的是，Gemma和Mistral系列模子中的某些型号在变体题上的准确率不降反升。

这些数据背后，响应出的问题相等潜入。一方面，现时的AI模子，哪怕是最顶尖的，在靠近数常识题的天真变化时稳健性较差。它们可能对大范畴数据张望出来的固定样式有一定依赖，一朝题目超出了熟悉的套路就会出现权臣滑坡。

另一方面，普特南竞赛题的变体策画，精确地击中了 AI 的「软肋」，这也为往常AI模子的张望和擢升指明了另一种标的。

参考贵府：

https://openreview.net/forum?id=YXnwlZe0yf&noteId=yrsGpHd0Sf

广东男篮开局掌控了比赛节奏，黄荣奇空切得手，内切外投得分，广东男篮开局以8-2领先。篮下勾手命中，贺希宁中远投得分，吉伦沃特中远投还以颜色，张皓嘉突破打成2+1，深圳男篮进入状态咬住比分。汤普森和约翰逊中远投连续命中，卢鹏宇也三分球一箭穿心，周鹏补篮得手，深圳男篮打出一波14-2的小高潮将比分反超以23-18领先。张皓嘉突破打成2+1，莫兰德反击得手，广东男篮连得5分将比分追平。汤普森补篮得手后篮下暴扣，徐昕和吉伦沃特连续得分回应。首节比赛结束，深圳男篮以28-27领先。

• 新澳门六合彩内部资料
• 揭秘
• 斯坦福
• o1-preview
• 软肋