您的位置首页 >要闻 > 科技要闻 >

姚期智杨植麟联合论文评测 9 款前沿大模型试探理论计算机与人类数学边界

图灵奖得主姚期智与月之暗面创始人杨植麟联合署名论文正式发布,论文推出全新评测基准 TCSExam,一次性对 9 个前沿大模型开展理论计算机科学全链条科研能力测试,整套评测一共 100 道研究级题目,不靠人工主观打分,统一使用 Lean 4 形式证明器、可执行代码检查器自动核验,结果显示部分大模型已经在数学构造任务上超过公开人类基线,但是面对真正开放的数学猜想,没有任何模型能够独立完成完整证明,这份研究本质不是证明 AI 已经突破人类数学上限,而是帮大家看清当下大模型在严谨科研推理里的能力上限和短板。过去很多数学评测都是竞赛题、中学大学习题,难度和真实科研差距很大,而 TCSExam 的题目全部取自近年理论计算机方向真实研究,覆盖定理证明、求解器工程、数学构造、开放猜想四大任务,更贴近数学家日常做研究的完整流程;测试里可以明显看到模型分化巨大,GPT‑6 Astra 在裸考定理证明环节拿到 70% 的通过率,Kimi K3.1 Pro 排在第二,其余多数模型表现大幅落后,同时模型在构造任务里出现了比公开人类方案更优的结果,只是一旦脱离给定命题、进入无确定答案的开放猜想,幻觉、逻辑断裂的问题会集中暴露。整个实验设计思路就是先给 AI 划定可控、可机器核验的数学任务,再逐步推向没有标准答案的前沿猜想,以此划分哪些是模型能稳定做好的严谨推理,哪些依旧属于人类主导的原创探索区间。

一、论文与评测基准基础信息

  • 论文名称:TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research
  • 发布渠道:arXiv,作者包含姚期智、杨植麟等,来自清华交叉信息研究院、上海期智研究院、月之暗面
  • 参评模型数量:9 个前沿大模型
  • 题目总量:100 道,全部是理论计算机科研级任务
  • 自动核验工具:Lean 4(定理证明)、程序运行校验器(代码、构造题)
  • 评测四大任务分类
  • 定理证明:仅给出主定理,不提供引理、中间思路,输出 Lean 可验证完整证明
  • 求解器工程:编写通用可复用算法程序,在批量测试用例上稳定通过
  • 数学构造:构造满足约束的最优对象,目标超越已公开人类构造结果
  • 开放猜想:面向尚未被解决的前沿猜想,探索假设与推理

二、核心测试结果汇总表

任务项目关键结果说明
裸命题定理证明(20 题)GPT‑6 Astra:70%;Kimi K3.1 Pro:38.3%;其余模型最高仅 11.7%
补充引理辅助条件全部模型通过率明显上涨,说明模型擅长顺着思路推进,自主规划证明链难度很高
数学构造任务GPT‑6 Astra 得分超过公开人类基线;Kimi K3 产出更优图论构造,刷新公开记录
开放猜想任务所有 9 个模型,均无法独立完成任何开放猜想的完整严谨证明
共性短板容易出现长逻辑链断裂、隐性条件遗漏,复杂多步证明后半段幻觉概率上升

三、四类任务通俗解读

定理证明

这是最贴近传统数学证明的环节,规则非常严格。AI 不能只用自然语言讲道理,输出内容必须翻译成 Lean 4 代码,由证明内核逐行校验,只要逻辑跳步、条件缺失,直接判定失败。“裸命题” 就是不给任何提示、中间引理,完全靠模型自己拆解证明路线,也是本次评测里区分度最高的项目。

求解器工程

不只是算出一道题答案,要求写出一套通用算法。比如图论最大团、图切割问题,代码要能跑大量不同输入样本,不能死记题目特解,考验模型的算法设计、边界处理能力,偏向理论计算机里的算法工程。

数学构造

属于 “创造” 类任务,要求模型造出满足一系列硬性约束的结构,比如特定参数、无三角形无四边形的图、纠错编码方案。在这个赛道,AI 第一次交出比已发表人类方案更好的构造,也是本次论文最有冲击力的发现。

开放猜想

也就是真正没有标准答案、学界还没搞定的难题。论文结论很明确:9 个模型全都没法独立攻克,AI 可以提出思路、拆分子问题,但是没办法完成闭环、严谨、可验证的证明。

四、这次实验带来的两层关键结论

  1. 在封闭、可核验的数学任务里,顶尖大模型已经逼近甚至局部超越公开人类基线
  2. 在无标准答案的前沿开放猜想上,人类数学探索的核心门槛还没有被跨过

在构造类任务,AI 能找到人类之前没有想到的结构;定理证明上,头部模型可以稳定完成一部分中等难度的研究级命题。它说明大模型已经具备可靠的严谨推理能力,不再只能做刷题、算术。

开放猜想没有现成证明路径,需要判断方向、挑选引理、选择合适数学工具,还要分辨哪些思路走不通。这一步需要长期的科研直觉、跨领域的取舍,也是论文里用来区分 “完成数学任务” 和 “开拓数学边界” 的分界线。

五、容易混淆的几个关键点

  • 不是证明大模型超越人类数学家:只是在标准化、机器可校验的子集任务里,拿到优于已有公开方案的结果;
  • TCS 不等于普通数学:理论计算机,是数学和计算复杂度、算法、编码交叉的方向,不是代数、几何这类纯数;
  • 自动核验 ≠ 没有局限:Lean 能检查逻辑是否自洽,但没法自动判断这个命题值不值得研究,科研价值判断依旧是人做;
  • 给引理就变强,代表当前模型更适合 “协作助手”,而不是完全自主的独立数学家。

六、对后续研究的影响

  1. 提供一套标准化科研数学评测,后续新模型可以用 TCSExam 横向对比严谨推理能力;
  2. 证明 “构造类数学” 是 AI 最容易率先产出增量成果的赛道,未来图论、编码、组合方向会优先受益;
  3. 指明下一步方向:提升模型自主拆分证明、主动寻找中间引理的能力,而不只是顺着人类给的思路补全推导;
  4. 划定边界:把 “可验证命题” 和 “开放猜想” 分开,避免过度渲染 AI 已经攻克前沿数学。

【相关 FAQ】

问题 1:姚期智杨植麟联合署名论文,评测 9 个前沿大模型,是想直接证明 AI 突破人类数学极限吗?

回答 1:姚期智杨植麟联合署名论文评测 9 个前沿大模型,并不是直接证明 AI 突破人类数学极限;研究发现顶尖模型在构造任务局部超过公开基线,但全部模型都无法独立攻克开放猜想,论文的核心目标是划分当前大模型严谨数学推理的能力边界。

问题 2:姚期智杨植麟这篇论文里,评测 9 个前沿大模型使用的 TCSExam,和常见的 MATH、IMO 数据集差别在哪?

回答 2:姚期智杨植麟这篇论文评测 9 个前沿大模型所用的 TCSExam,题目来自真实理论计算机科研,覆盖从定理证明到开放猜想完整科研链路,使用 Lean 自动核验;而 MATH、IMO 大多是竞赛习题,偏向固定标准答案,和前沿科研的模式差距很大。

问题 3:在姚期智杨植麟联合论文的测试里,9 个前沿大模型有没有做出真正新的数学成果?

回答 3:在姚期智杨植麟联合论文的测试里,9 个前沿大模型里,GPT‑6 Astra、Kimi K3 在数学构造任务产出了优于此前公开记录的构造方案,属于增量成果,但都没有独立完成开放猜想的完整证明。

问题 4:姚期智杨植麟联合论文里,给参评的 9 个前沿大模型补充引理之后,成绩为什么会明显上涨?

回答 4:姚期智杨植麟联合论文测试 9 个前沿大模型时,补充引理之后成绩上涨,说明当下大模型擅长沿着已经给出的思路完成逻辑推导,最难的环节是自主规划整条证明路线、自己发现需要用到的中间引理。

【参考资料】

[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)36 氪

[2026-11-09](姚期智、杨植麟联合署名论文:9 个前沿大模型,如何挑战理论计算机科学难题?)澎湃新闻

[2026-11-10](9 个前沿大模型,如何证明人类数学极限?)国际科技创新中心

[2026-11-09](姚期智杨植麟首次共同署名论文,Kimi 刷新一项图论构造公开最优结果)搜狐网

【免责声明】

本文基于 arXiv 公开论文、权威科技媒体报道整理;姚期智、杨植麟联合论文里 9 个前沿大模型的测试结果,限定在 TCSExam 这套基准、Lean 核验规则之下;AI 在数学构造上超越公开基线,不代表全面超越人类数学家;论文评测属于阶段性科研实验,不代表大模型已经具备自主开拓前沿数学猜想的能力,本文不构成对各类大模型能力的背书以及相关投资建议。