高考、考研数学,旨在考察学生的逻辑推理素养,年年都会难倒一大片准备上岸的学子。
那么,对于被训练成「像人类一样思考」的人工智能(AI)系统,尤其是近期讨论颇多的 o1 类推理模型而言,「数学」这门考试到底难不难呢?
更进一步说,如果同时参加 2025 考研的数学考试,国内头部推理模型与 OpenAI o1 的差距又有多大呢?
日前,来自清华大学人工智能研究院基础模型研究中心的团队,便晒出了国内外 13 个模型(基础模型、深度推理模型)在 2025 年考研数学(一、二、三)上交出的答卷——
直白一点说:o1 最强,但对国产头部模型(如 GLM-zero-preview、QwQ)的一马当先的优势不大。
具体而言,这些推理模型的 2025 考研数学成绩全部达到了 120+,最强模型 OpenAI o1 的分数达到了惊人的141.3 分(平均),在总计 66 道题目中,仅答错了 3.5 道。
另外,相比于 o1,国内推理模型 GLM-zero-preview(平均138.7 分)和 QwQ(平均 137.0 分)的表现也并无巨大劣势,分差仅在个位数水平。
值得注意的是,曾于 2023 年位居榜首的基础模型 GPT-4,在本次测试中仅获得 70.7 分,排名倒数第一。这一根据结果得出,在过去的一年中,语言模型在数学推理领域取得了显著的进步。
值得一提的是,尽管 o1 在深度推理方面的表现击败了所有国产推理大模型,但国产大模型正将这一差距逐渐缩小,此次智谱的 GLM-zero-preview 和阿里的 QwQ 的成绩便说明了这一点。
为全面深入地探究各模型厂商在深度思考能力优化方面所取得的成果,评测团队对相应基础模型与深度推理模型进行了对比分析。
他们表示,这一对比并非意味着各深度推理模型是基于对应基础模型所做优化,其最大的目的在于直观呈现各厂商在模型综合能力提升方面的进展与成效。
通过对比分析,OpenAI o1 相较于基础模型 GPT-4o 的提升幅度最显著,达到了 57.3 分;阿里的 Qwen 模型和智谱的 GLM 模型,提升幅度紧随其后,分别达到了 47.0 分和 34.3 分。深度求索和月之暗面的模型提升幅度比较小,这主要是由于其基础模型本身分数较高。
在本次测试中,他们将表现最为优异的基础模型 DeepSeek-v3 作为参照基准,进而对各厂商深度推理模型的性能提升情况做评估,有关数据呈现如下图所示:
可以看出,智谱、阿里在深度推理模型的性能提升方面做了很大的优化,分数分别为 18.3 和 16.7,接近 OpenAI(21.0)。
在本次评测过程中,评测团队发现并非所有模型均提供 API 支持,且部分提供 API 服务的模型在输出内容长度超出一定限制时,会出现内容截断的情况。为确保评测工作的公正性与准确性,他们决定统一采用各模型厂商的网页端来测试操作。
在测试过程中,每道题目均在独立的对话窗口中进行,以此消除上下文信息对测试结果可能会产生的干扰。
鉴于部分模型输出存在一定不稳定性,为降低由此引发的分数波动,他们设定当同一模型在三次测试中有两次及以上回答正确时,方将其记录为正确答案。
爱思唯尔(Elsevier):洞察 2024:科研人员对AI的态度报告
前瞻:2025 年人形机器人产业高质量发展蓝皮书 - 人形机器人量产及商业化关键挑战
美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)
中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告
兰德公司 2024 人工智能项目失败的五大最终的原因及其成功之道 - 避免 AI 的反模式 英文版
Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版
兰德公司 2024 AI和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版
Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版
电子行业专题报告:2025 年万物 AI 面临的十大待解难题 - 241209
NeurIPS 2024 论文:智能体不够聪明怎么办?让它像学徒一样持续学习
Chainalysis:2024 年密码货币地理报告密码货币采用的区域趋势分析
经合组织 成年人是不是具备在一直在变化的世界中生存所需的技能 199 页报告
《全球导航卫星系统(GNSS)软件定义无线电:历史、当前发展和标准化工作》最新综述
DARPA 主动社会工程防御计划(ASED)《防止删除信息和捕捉有害行为者(PIRANHA)》技术报告
世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版
经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展的新趋势 英文版
科尔尼 2024 年全球AI评估 AIA 报告追求更高层次的成熟度规模化与影响力英文版
国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版
MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119
这就是人间不公!731部队细菌战犯逃回日本后,很多人在医院、学校等公立机构担任要职
731部队是日本军国主义者在第二次世界大战期间下令组建的细菌战秘密部队之一。1931年到1945年期间,731部队进行骇人听闻的人体实验和细菌战等,在中国犯下滔天罪行。数千名中国、苏联、朝鲜战俘和中国平民被用于人体细菌和毒气实验。
有记者称,据报道,076两栖攻击舰首舰“四川舰”近日在上海举行下水命名仪式,引发境内外舆论高度关注。有台湾媒体称,076舰立体化登陆作战能力惊人,该舰出动就是台湾最危险的时刻。还有外媒炒作该舰将打破地区军事力量平衡,带来不稳定因素。
央视记者当地时间1月18日获悉,美国当选总统特朗普当日在接受媒体采访时表示,他“非常有可能”在就职后给予TikTok90天的禁令延缓执行期限。特朗普表示,他尚未做出最终决定,但正在考虑将1月19日的最后期限延长90天,且有一定的概率会在1月20日宣布这项决定。
春节期间,买张彩票添添喜气,是不是很多人的计划?近日,“上海体育”公众号、“中国福彩”公众号双双发布休市公告。体育彩票和福利彩票在2025年春节休市时间为1月27日0:00至2月5日24:00。虽然体彩、福彩大休市,但即开型彩票并不受此影响。
2025年的春节来得有些早,法定春节假期延长至8天,不少人慢慢的开始购置年货、水果,年味渐浓的同时,快递小哥们也忙碌了起来。日前,国家邮政局有关负责这个的人说,针对春运期间的业务运行特点,制定了保障工作方案,进行专项部署,全力保障年货寄递需求,同时切实维护快递员合法权益。
她通过攀附省委书记,获提拔!收一栋4000万别墅,又花850万装修,光游泳池就花230万
贵州反腐大片1月16日晚播出第一集,其中剖析了贵州省卫健委原党组书记杨慧案。“我把她变成我的‘钱袋子’,培养她为己所用。”杨慧,贵州省卫健委原党组书记,2024年6月,在任上被查处。她说的“钱袋子”,就是与她相识十几年的商人朱某某。
手机电量还剩多少,对现代社会的许多人而言,都是一个“性命攸关”的问题。人们对手机充电的强烈需求,也让市面上催生出了许多噱头:无线充电,二倍速充电,以及能连着用一周的高能充电宝。乱花渐欲迷人眼,但到底什么才是手机充电的正确姿势呢?手机一定要满充满放吗?
一觉醒来天塌了,发现了自己错过了一个亿!就在1月16号,在大家一个常用支付软件,支付宝上,竟然开始“凭空下红包”。网友们在14:40——14:45分,这期间,转账发现,出现了立减,而且还是20%的大幅度。当时,是分为两拨人,一拨人当然是抱着“羊毛不薅白不薅”的心思,开始反复操作。