前言
數學長期以來都被視為人工智慧最難攻克的高地之一。
它高度形式化、符號密集、推理鏈條漫長,對中間過程的正確性有極高要求。這與大模型擅長的「流暢語言生成」之間,天然存在張力。
也正因如此,AI 在數學上的每一次實質性突破,往往都不是多答對幾道題,而是一次推理範式與系統架構的躍遷。
過去兩年裡,AI for Math 從熱門概念逐步走向工程現實。
一邊是競賽分數不斷被刷新,另一邊則是對評測失真、資料污染、不可驗證推理的反思不斷加深。
本文嘗試站在一個長期做教育產品、也深度參與 AI 工程落地的開發者視角,系統梳理當前階段下:
- 主流數學基準的真實可信度發生了哪些變化
- 大模型數學能力的真實分層現狀
- 架構型解題系統如何取代單模型刷題
- 哪些方向真的值得產品與研究投入
如果你正在做數學相關的 AI 產品,這篇文章就是為你寫的。
一、大模型的數學能力:從刷題能力到結構能力
1. 基準測試的真實演進
早期數學能力評測,基本圍繞 GSM8K / MATH / AIME 展開。
但到了 2025 年,這套體系已經明顯出現分化。
GSM8K:接近飽和,且被系統性證明存在污染風險
GSM8K 曾是模型是否真的會解應用題的代表基準,但它的問題也最明顯:
- 題目規模小、公開時間久
- 與公開解題內容高度重合
- 已被多篇研究證實存在訓練集污染
對照測試如 GSM1k 顯示:同一模型在 GSM8K 上的高分,可能在未污染但同構的題集上直接下降 10% 到 15%。 這是多個獨立對照實驗裡相當一致的現象。
AIME / AMC / MATH:仍有價值,但必須標註「新鮮度」
AIME 依然是當前最常用的高中競賽基準,但現在的共識是:
- 必須明確題目年份,AIME 2024 與 AIME 2025 的難度與污染風險差異明顯
- 必須說明評測口徑,是否多次取樣、是否允許工具、是否混入舊題
在多個評測平台上,頂級模型在 AIME 2025 上已接近 100%。
不過這並不意味著數學被解決了,而只是說明標準競賽題對頂級模型的區分度正在迅速下降。
新的可信方向:即時競賽流與反刷榜基準
為了解決刷榜幻覺,2025 年開始出現兩類新基準:
- 即時競賽流(如 MathArena):只評測最新發佈的競賽題
- 難題精選(Apex 類):主動過濾掉對模型過於友好的題
結果是在 IMO 2025 證明題 上,頂級模型的完成率仍 低於 40%。
在只保留最難題的 Apex 集合上,最佳模型也只有約 5%。
這兩個數字,遠比任何 AIME 滿分更能反映模型的真實上限。
2. 2025 年主流模型的能力分層
第一層:Final Answer(競賽解題)
在 AIME / AMC 這類任務上,GPT-5.x、Gemini 3 Pro 等模型已接近「刷穿」。
這一層能力對教育產品有價值,但區分度已明顯下降。
第二層:Proof Writing(自然語言證明)
IMO 級別證明題仍是硬骨頭。模型容易給出看起來合理的證明,但邏輯漏洞頻發,人類仍需逐步審查。
這是教學與科研應用的核心瓶頸。
第三層:Formal Proof(形式化證明)
在 Lean / Coq 等系統中,架構型 Prover 已在 PutnamBench 等任務上達到 80%+。
不過這裡的關鍵不是模型大小,而是 生成 -> 驗證 -> 失敗定位 -> 局部修復 的工程閉環。
二、系統架構演進:從思維鏈到解題架構體
1. Prompt 層的演進
Chain-of-Thought 解決了模型不顯式思考的問題,但在數學中,它暴露出三個根本缺陷:
- 推理結構隱含在自然語言中,難以校驗
- 一步出錯,後續全部污染
- 無法與形式化工具直接對齊
因此,新的主流做法是 Sketch-Proof:
- 先生成結構草圖,包括目標、引理與分支
- 再逐步填充可驗證推理
2. 架構型系統成為主流
2025 年最有代表性的數學系統,幾乎都呈現出相似形態:
- 多階段解題流程
- 明確的中間表示
- 外部驗證器深度介入
典型模式包括:
- 題幹解析 -> 數學意圖識別
- 解題草圖生成 -> 子問題分解
- 引理調用 / 工具計算
- 驗證失敗 -> 局部修復 -> 重組
這類系統的成功,更多來自軟體工程,而非模型參數規模。
三、正確率保障機制:如何形成邏輯閉環
1. 形式化驗證成為分水嶺
在引入 Lean / Coq 後,數學 AI 出現了質變:
- 每一步推理都必須通過型別檢查
- 模糊語言與跳步被強制消除
- 錯誤能被精確定位到具體斷言
這使得模型不再糊一整段證明,而是被迫學會結構化思考。
2. 自動修復與過程批判成為核心能力
新一代系統普遍具備:
- 失敗感知:知道哪一步錯了
- 局部重寫:只改必要部分
- 策略調整:而非從頭亂試
Process Critic、Verifier-Formalizer 等模組,使模型逐步具備自我審稿能力。
3. 一條成熟的工程級驗證鏈,大致長這樣
結構化輸出
-> 工具計算校驗
-> 形式化斷言生成
-> SMT / Symbolic 檢查
-> 回饋調度與重試
沒有這整條鏈,數學 AI 幾乎不可能用於嚴肅場景。
四、應用落地:哪些真的正在發生
1. 數學教育
- 個性化輔導開始強調解題路徑而非結論
- 錯題系統不再只存答案,而是存結構失敗點
- AI 批改開始結合符號與邏輯,而非純語言評分
真正有價值的不是講得像人,而是哪裡錯、為什麼錯、下一步怎麼練。
2. 科研與數學內容生產
- 形式化工具正在重構數學研究流程
- 老論文被結構化、引理被復用
- 數學知識開始具備可執行性
AI 在這裡真的更像一個極其耐心的研究助理。
3. 給產品開發者的現實建議
- 標準化解題過程資料
- 把驗證器當一等公民
- 明確區分:思考模型 / 執行工具 / 檢查模組
- 不要迷信一個模型解決一切
寫在最後
AI 在數學中的價值,從來不只是替人做題。
真正重要的,是它是否能幫助我們拆解問題結構,讓推理過程可追蹤、可檢查、可複用,成為人類思考體系的一部分,而不是一個黑箱。
如果說語言模型的早期成功,是「讓機器會說話」,那麼 AI for Math 的長期目標,應該是讓機器學會一步步負責任地思考。
這,可能才是 AI 真正進入教育與基礎科學核心地帶的開始。
延伸閱讀
- AlphaGeometry: Symbol-free geometric theorem proving DeepMind 團隊幾何定理自動證明系統,突破結構建模與推理協同
- ProofNet: Language Modeling for Theorem Proving in Lean 將語言模型與形式化證明系統融合的代表性工作
- Seed-Prover: Multistage Math Problem Solving with Tool-augmented LLMs 基於多階段 agent 式推理的數學系統
- DeepSeek-Prover-V2 Technical Report 構建生成與驗證閉環、採用專家混合架構的專業數學 LLM
- Lean Dojo 訓練語言模型與 Lean 互動式證明系統結合的開源平台