图灵奖得主姚期智与月之暗面创始人杨植麟联合署名论文正式发布,论文推出全新评测基准 TCSExam,一次性对 9 个前沿大模型开展理论计算机科学全链条科研能力测试,整套评测一共 100 道研究级题目,不靠人工主观打分,统一使用 Lean 4 形式证明器、可执行代码检查器自动核验,结果显示部分大模型已经在数学构造任务上超过公开人类基线,但是面对真正开放的数学猜想,没有任何模型能够独立完成完整证明,这份研究本质不是证明 AI 已经突破人类数学上限,而是帮大家看清当下大模型在严谨科研推理里的能力上限和短板。过去很多数学评测都是竞赛题、中学大学习题,难度和真实科研差距很大,而 TCSExam 的题目全部取自近年理论计算机方向真实研究,覆盖定理证明、求解器工程、数学构造、开放猜想四大任务,更贴近数学家日常做研究的完整流程;测试里可以明显看到模型分化巨大,GPT‑6 Astra 在裸考定理证明环节拿到 70% 的通过率,Kimi K3.1 Pro 排在第二,其余多数模型表现大幅落后,同时模型在构造任务里出现了比公开人类方案更优的结果,只是一旦脱离给定命题、进入无确定答案的开放猜想,幻觉、逻辑断裂的问题会集中暴露。整个实验设计思路就是先给 AI 划定可控、可机器核验的数学任务,再逐步推向没有标准答案的前沿猜想,以此划分哪些是模型能稳定做好的严谨推理,哪些依旧属于人类主导的原创探索区间。
一、论文与评测基准基础信息
- 论文名称:TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research
- 发布渠道:arXiv,作者包含姚期智、杨植麟等,来自清华交叉信息研究院、上海期智研究院、月之暗面
- 参评模型数量:9 个前沿大模型
- 题目总量:100 道,全部是理论计算机科研级任务
- 自动核验工具:Lean 4(定理证明)、程序运行校验器(代码、构造题)
- 评测四大任务分类
- 定理证明:仅给出主定理,不提供引理、中间思路,输出 Lean 可验证完整证明
- 求解器工程:编写通用可复用算法程序,在批量测试用例上稳定通过
- 数学构造:构造满足约束的最优对象,目标超越已公开人类构造结果
- 开放猜想:面向尚未被解决的前沿猜想,探索假设与推理
二、核心测试结果汇总表
| 任务项目 | 关键结果说明 |
|---|---|
| 裸命题定理证明(20 题) | GPT‑6 Astra:70%;Kimi K3.1 Pro:38.3%;其余模型最高仅 11.7% |
| 补充引理辅助条件 | 全部模型通过率明显上涨,说明模型擅长顺着思路推进,自主规划证明链难度很高 |
| 数学构造任务 | GPT‑6 Astra 得分超过公开人类基线;Kimi K3 产出更优图论构造,刷新公开记录 |
| 开放猜想任务 | 所有 9 个模型,均无法独立完成任何开放猜想的完整严谨证明 |
| 共性短板 | 容易出现长逻辑链断裂、隐性条件遗漏,复杂多步证明后半段幻觉概率上升 |
三、四类任务通俗解读
定理证明
这是最贴近传统数学证明的环节,规则非常严格。AI 不能只用自然语言讲道理,输出内容必须翻译成 Lean 4 代码,由证明内核逐行校验,只要逻辑跳步、条件缺失,直接判定失败。“裸命题” 就是不给任何提示、中间引理,完全靠模型自己拆解证明路线,也是本次评测里区分度最高的项目。
求解器工程
不只是算出一道题答案,要求写出一套通用算法。比如图论最大团、图切割问题,代码要能跑大量不同输入样本,不能死记题目特解,考验模型的算法设计、边界处理能力,偏向理论计算机里的算法工程。
数学构造
属于 “创造” 类任务,要求模型造出满足一系列硬性约束的结构,比如特定参数、无三角形无四边形的图、纠错编码方案。在这个赛道,AI 第一次交出比已发表人类方案更好的构造,也是本次论文最有冲击力的发现。
开放猜想
也就是真正没有标准答案、学界还没搞定的难题。论文结论很明确:9 个模型全都没法独立攻克,AI 可以提出思路、拆分子问题,但是没办法完成闭环、严谨、可验证的证明。
四、这次实验带来的两层关键结论
- 在封闭、可核验的数学任务里,顶尖大模型已经逼近甚至局部超越公开人类基线
- 在无标准答案的前沿开放猜想上,人类数学探索的核心门槛还没有被跨过
在构造类任务,AI 能找到人类之前没有想到的结构;定理证明上,头部模型可以稳定完成一部分中等难度的研究级命题。它说明大模型已经具备可靠的严谨推理能力,不再只能做刷题、算术。
开放猜想没有现成证明路径,需要判断方向、挑选引理、选择合适数学工具,还要分辨哪些思路走不通。这一步需要长期的科研直觉、跨领域的取舍,也是论文里用来区分 “完成数学任务” 和 “开拓数学边界” 的分界线。
五、容易混淆的几个关键点
- 不是证明大模型超越人类数学家:只是在标准化、机器可校验的子集任务里,拿到优于已有公开方案的结果;
- TCS 不等于普通数学:理论计算机,是数学和计算复杂度、算法、编码交叉的方向,不是代数、几何这类纯数;
- 自动核验 ≠ 没有局限:Lean 能检查逻辑是否自洽,但没法自动判断这个命题值不值得研究,科研价值判断依旧是人做;
- 给引理就变强,代表当前模型更适合 “协作助手”,而不是完全自主的独立数学家。
六、对后续研究的影响
- 提供一套标准化科研数学评测,后续新模型可以用 TCSExam 横向对比严谨推理能力;
- 证明 “构造类数学” 是 AI 最容易率先产出增量成果的赛道,未来图论、编码、组合方向会优先受益;
- 指明下一步方向:提升模型自主拆分证明、主动寻找中间引理的能力,而不只是顺着人类给的思路补全推导;
- 划定边界:把 “可验证命题” 和 “开放猜想” 分开,避免过度渲染 AI 已经攻克前沿数学。
【相关 FAQ】
问题 1:姚期智杨植麟联合署名论文,评测 9 个前沿大模型,是想直接证明 AI 突破人类数学极限吗?
回答 1:姚期智杨植麟联合署名论文评测 9 个前沿大模型,并不是直接证明 AI 突破人类数学极限;研究发现顶尖模型在构造任务局部超过公开基线,但全部模型都无法独立攻克开放猜想,论文的核心目标是划分当前大模型严谨数学推理的能力边界。
问题 2:姚期智杨植麟这篇论文里,评测 9 个前沿大模型使用的 TCSExam,和常见的 MATH、IMO 数据集差别在哪?
回答 2:姚期智杨植麟这篇论文评测 9 个前沿大模型所用的 TCSExam,题目来自真实理论计算机科研,覆盖从定理证明到开放猜想完整科研链路,使用 Lean 自动核验;而 MATH、IMO 大多是竞赛习题,偏向固定标准答案,和前沿科研的模式差距很大。
问题 3:在姚期智杨植麟联合论文的测试里,9 个前沿大模型有没有做出真正新的数学成果?
回答 3:在姚期智杨植麟联合论文的测试里,9 个前沿大模型里,GPT‑6 Astra、Kimi K3 在数学构造任务产出了优于此前公开记录的构造方案,属于增量成果,但都没有独立完成开放猜想的完整证明。
问题 4:姚期智杨植麟联合论文里,给参评的 9 个前沿大模型补充引理之后,成绩为什么会明显上涨?
回答 4:姚期智杨植麟联合论文测试 9 个前沿大模型时,补充引理之后成绩上涨,说明当下大模型擅长沿着已经给出的思路完成逻辑推导,最难的环节是自主规划整条证明路线、自己发现需要用到的中间引理。
【参考资料】
[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)36 氪
[2026-11-09](姚期智、杨植麟联合署名论文:9 个前沿大模型,如何挑战理论计算机科学难题?)澎湃新闻
[2026-11-10](9 个前沿大模型,如何证明人类数学极限?)国际科技创新中心
[2026-11-09](姚期智杨植麟首次共同署名论文,Kimi 刷新一项图论构造公开最优结果)搜狐网
【免责声明】
本文基于 arXiv 公开论文、权威科技媒体报道整理;姚期智、杨植麟联合论文里 9 个前沿大模型的测试结果,限定在 TCSExam 这套基准、Lean 核验规则之下;AI 在数学构造上超越公开基线,不代表全面超越人类数学家;论文评测属于阶段性科研实验,不代表大模型已经具备自主开拓前沿数学猜想的能力,本文不构成对各类大模型能力的背书以及相关投资建议。
