Autocurriculum 論文導讀

SECTION 01

問題定義 — 推理很貴,能不能變便宜?

推理模型的兩條訓練路線都很燒錢。這篇論文問的是:這些成本是本質上的,還是只因為「沒有對症下藥地挑題目來練」?

現代推理模型(o1、R1、Phi-reasoning…)的能力來自 chain-of-thought(CoT):在給出答案前多花 token 思考。要訓練出這種行為,靠的是兩條都很貴的管線:

SFT / 蒸餾

從強大的老師(人類或前沿模型)收集長而高品質的推理軌跡,再讓學生去擬合。這在統計上很貴——每一筆老師示範都得來不易。

可驗證獎勵的強化學習(RLVR)

不需要老師軌跡,但你得從正在訓練的模型大量 rollout 推理嘗試,再交給 verifier 打分。這在計算上很貴——生成成本主導了整張帳單。

標準做法對每道題「一視同仁」:對所有題目都去查老師,或對所有題目都 rollout。但很多題目對當前模型早就是送分題——在這些題上花昂貴的監督純屬浪費。核心問題:

推理模型該如何為自己設計課程?這樣做在統計與計算上到底能省下多少?

論文的答案是 autocurriculum(自動課程):用一個便宜的 outcome verifier(單元測試、答案檢查器)判斷當前模型在哪些題目上還做不好,把昂貴的監督集中投在那裡。關鍵在於——這不需要對題目分布或難度做任何假設;課程完全從模型自身的訓練動態中湧現出來。用到的工具是經典的:boosting(Freund & Schapire, 1997)與 learning from counterexamples(Angluin, 1987)。

圖 1 · SFT 的自動課程:verifier 標出做錯的題,只在這些題上查老師,更新模型後重複(依論文 Figure 1 重繪)。

SECTION 02

理論框架 — 模型、verifier 與兩種學習設定

全部放進一個乾淨的自回歸學習理論框架裡,好讓「成本」有精確的定義。

語言模型與 chain-of-thought

題目空間 X ⊆ Σ* 帶有目標分布 ρ。模型 π : Σ* → Δ_Σ 是一個 next-token 預測器,所有位置共用同一組參數(parameter-sharing regime)。自回歸解碼 T 步後,誘導出 CoT 分布 π_1:T(·|x)——是一個對長度 T 序列的分布;其中最後一個 token 就是「答案」。

用 outcome verifier 定義準確率

Outcome verifier V : X × Σ → {0,1}:當且僅當最終答案對某題正確時回傳 1——想成單元測試或數學答案檢查器。模型準確率定義為:

Acc_ρ(π) = E_x∼ρ E_{y∼π_1:T(·|x)} [ V(x, y_T) ]
對題目取平均,衡量「最後一個 token 是正確答案」的機率

學習者處於 realizable(可實現) 設定(Assumption 2.1):模型類 Π 裡存在一個 π* 滿足 Acc_ρ(π*) = 1。Π 的複雜度用 Natarajan 維度 d = Ndim(Π) ≤ log₂|Π| 衡量。

SFT 設定

CoT 預言機 CoT(x) 回傳一條完美老師軌跡 y ∼ π*_1:T(·|x)。成本 = n_CoT,查詢老師軌跡的次數——這是要最小化的對象(軌跡很貴)。

RLVR 設定

沒有老師。改為一個可採樣的 參考模型 π_ref。成本 = n_comp,訓練過程中生成的長度 T rollout 總數(來自 π_ref 或任何學習者模型)。

兩種設定裡,學習者都能免費查詢 verifier V。這個便宜的對／錯訊號——與昂貴的監督是兩條分開的通道——正是自動課程得以成立的關鍵。

SECTION 03

核心成果 — 自動課程到底幫你省了什麼

一張表就概括了整篇論文。「No curriculum」欄是標準做法,「Autocurriculum」欄是本文。

Table 1 · 複雜度(略去 polylog(1/ε, 1/δ, d, C_seq) 因子)。Π = next-token 模型類;d = Ndim(Π);C_seq = 參考模型的序列級覆蓋度;目標:學到 π̂ 使 Acc_ρ(π̂) ≥ 1−ε。假設 Π 有限且為 deterministic。
設定	無課程(既有做法)	自動課程(本文)
SFT 成本=老師 CoT	n_prompt = n_CoT ∼ log\|Π\| / ε	n_prompt ∼ log\|Π\|/ε , n_CoT ∼ log\|Π\| · log(1/ε)
RLVR 成本=rollout	n_comp ∼ C_seq · log\|Π\| / ε	n_comp ∼ C_seq·log\|Π\|·log(1/ε) + log\|Π\|/ε

SFT — 老師成本裡的 1/ε 不見了

Θ̃(d/ε) → Õ(d)

老師示範的數量,從「隨目標準確率成長」變成幾乎與目標準確率無關——這是 1/ε 上的指數級改善。你仍然看很多題(便宜),但只在其中 Õ(d) 題上查老師。

RLVR — 覆蓋度與準確率解耦

Õ(dC_seq/ε) → Õ(dC_seq + d/ε)

覆蓋成本 C_seq 變成一次性的 burn-in(暖機),不再乘上 1/ε。暖機之後,繼續提升準確率的代價就彷彿覆蓋度是完美的一樣。

一句話直覺:verifier 是一個便宜的預言機,告訴你「你哪裡錯了」;boosting 把「修掉當前錯誤的一個固定比例」變成幾何級數收斂,於是昂貴的監督只需投入 O(log(1/ε)) 輪,而不是 O(1/ε) 的量級。

SECTION 04

AutoTune — 用 boosting 走過 SFT

核心演算法。本質是經典的 boosting-by-filtering,由 outcome verifier 扮演「重新加權」的預言機角色。

它要打敗的 baseline

既有做法(Joshi et al., 2025;Foster et al., 2024)對每一道題都收 CoT,做 next-token prediction(NTP)。對 deterministic 類、0-1 loss,需要(其 Prop. 3.1):

n_prompt = n_CoT ≲ [ d·log(dT|Σ|)·log(1/ε) + log(1/δ) ] / ε , d = Ndim(Π)

前面那個 1/ε 就是罪魁禍首:要達到 99.9% 準確率,你付的老師軌跡是達到 90% 的一千倍。自動課程要把它幹掉。

核心點子:verifier 引導的 weak learner 集成

AutoTune(Algorithm 1)跑 k = O(log(1/ε)) 個階段。每個階段訓練一個新模型,只要達到常數準確率(一個 weak learner,誤差 err★ = ¼)——但是在一個被重新加權、放大「當前集成做錯之處」的題目分布上訓練。哪些題算「錯」由 verifier 決定;老師只在這些題上被查詢。最終模型 f̂ 是 improper(非本類) 的:對集成取多數決投票。

切分並逐階段迴圈

把題庫切成 k 份;跑階段 j = 0 … k−1,逐步養大集成 Π_j。

採樣「集成做錯的題」(Algorithm 2)

rejection-sampling 子程序 Sample(·) 只靠 verifier 查詢,就把題目重新加權、偏向「當前集成標錯」的題。權重 w_j(x) = α^j,k_{rank_j(x)},其中 rank_j(x) 計算已有幾個集成成員答對 x;boosting 權重 α 來自 Freund 的 boosting-by-filtering。

在難題切片上訓練 weak learner

只在採樣出的(難)題上查老師拿 CoT,用底層 NTP 學習器把新模型 π̂^j 訓到常數準確率。

用多數決聚合

回傳 Plu({π̂ : π̂ ∈ Π_k})——取集成裡最多票答案的 outcome-level 模型。

為什麼 boosting 在這裡奏效(圖 2 直覺):每個新 weak learner 被訓成:在比它「弄壞」的題更大測度的題上,修掉集成當前錯誤的一個固定比例。於是誤差幾何級數縮小——集成準確率以 ~(3/4)^k 的速度逼近 1,因此只需 k = O(log(1/ε)) 輪。

圖 2 · 每個 weak learner 修正一塊多數決錯誤區(✓),同時只引入少量新錯誤(✗);在正確的重新加權下,集成準確率幾何級數逼近 1(依論文 Figure 2 重繪)。

主結果 — Theorem 3.3(指數級改善)

對 deterministic 的 Π、稀疏 verifier(Assumption 3.1:每題有唯一正解)、且 π* realizable:只要題庫大小 n ≥ (d/ε)·polylog(ε⁻¹, δ⁻¹, T, |Σ|),AutoTune 就以機率 1−δ 回傳一個 outcome-level 的 f̂ 滿足 Acc_ρ(f̂) ≥ 1−ε,而老師 CoT 查詢次數僅為:

n_CoT ≤ d · polylog(ε⁻¹, δ⁻¹, T, |Σ|)
——幾乎與目標準確率 1−ε 無關

這不只是 active learning。經典主動學習也能拿到 log(1/ε) 的標註複雜度——但只在結構性假設下(有界 disagreement coefficient / star number)。AutoTune 對任何 Π 都不需要這些假設。訣竅:學習者是透過查詢 verifier 來提取關於 π* 的資訊,這是一條更便宜的回饋通道,繞過了 active learning 的下界。Problem 3.2 確實不是 active learning 的特例。

「outcome-level」的但書(Remark 3.5):Õ(d) 的 CoT 界,只在準確率是對最終答案衡量時才成立。若你要求整條 CoT 序列都正確,界就退回 Ω̃(d/ε)——因為 verifier 對中間 token 完全不提供訊號。

SECTION 05

一般(隨機)模型 — 更貼近現實

真實語言模型不是 deterministic 的。Section 3.4 把結果推廣到隨機 Π,代價是把「高準確率」放寬成「在大多數題上達到中等準確率」。

AutoTune_stoch(Algorithm 3)把 0-1 loss 換成閾值 loss ℓ_x(π) = 𝟙[Acc_x(π) ≥ 4/5],並用更小的 weak-learner 誤差(err★ = 1/400)。Theorem 3.6:用 n ≥ (log|Π|/ε)·polylog 道題,它查 CoT 預言機至多:

n_CoT ≤ log|Π| · polylog(ε⁻¹, δ⁻¹, T)
回傳 f̂ 滿足 Pr_x∼ρ[ Acc_x(f̂) ≥ 3/5 ] ≥ 1−ε

這是對模型 pass@k rate(Chen, 2021)的界:在 1−ε 測度的題上,獨立嘗試裡有相當比例會成功。它可用 O(log(1/ε)) 次對 Π 的 log-loss ERM 預言機呼叫來實作。

銳化成高準確率(Remark 3.7)。若每題答案唯一,共識投票能升級這個保證:從 f̂ 採樣 N = Ω(log(1/ε)) 個答案,取多數決。所得的 f̂_cons 滿足 Acc_ρ(f̂_cons) ≥ 1 − O(ε)——在推論時就把「中等準確率的 pass@k」銳化成高準確率。

SECTION 06

RLVR — 讓覆蓋度與準確率解耦

第二種設定:沒有老師,只有一個預訓練的參考模型。這裡自動課程省的是計算,而非老師標註。

背景補充 — 什麼是 RLVR?

RLVR(Reinforcement Learning with Verifiable Rewards,可驗證獎勵的強化學習)是目前推理模型 post-training 的主流做法。它不用 RLHF 那種學出來的 reward model,而是讓獎勵直接來自一個 deterministic 的 verifier,判斷輸出是否客觀正確:跑單元測試,或把最終答案跟已知解對照。模型生成多個嘗試(rollout),每個拿到 0/1 的可驗證獎勵,再用 policy-gradient 方法(PPO、GRPO…)把模型推向高獎勵行為。這正是本文所形式化的 π_ref + outcome-verifier V 設定。

來源 Origin

「對可自動驗證的結果做 RL」這個想法可追溯到 DeepSeekMath(Shao et al., 2024,也提出了 GRPO)。RLVR 這個名詞則由 AI2 的 Tülu 3(Lambert et al., 2024)命名並帶紅——也就是本文引用 RLVR 的出處。之後 DeepSeek-R1(2025)讓它真正廣為人知。

為何流行

不必訓練 reward model(更便宜、偏差更少);訊號是 ground truth,難以 reward hacking;能自動擴展、無需人在迴圈裡;且它正好瞄準可驗證的領域——數學與程式碼——這也是 CoT 推理最有價值的地方。

代價

它的成本是計算:在難題上,你得 rollout 很多次才能找到一條正確軌跡。這正是本文用自動課程要對付的 n_comp ∼ Õ(dC_seq/ε) 成本。

RLVR 補充資料來源 · Tülu 3 (Lambert et al., 2024) · DeepSeekMath (Shao et al., 2024) · Ai2 Tülu 3 blog · RLVR overview (AI Infra KB) · RLVR (Label Studio)

覆蓋度 — RL 版的 realizability

你從參考模型 π_ref 出發,必須只靠 verifier 把它導向高準確率。關鍵量是 序列級覆蓋度(sequence-level coverage,Definition 4.2):若 π_ref 對每道題都在正確 CoT 上放至少 C_seq⁻¹ 的機率,就說它以參數 C_seq 覆蓋。

π_ref(y*_x | x) ≥ C_seq⁻¹ 對每道題 x (C_seq 越小 = 覆蓋越好)

Baseline — 用 rejection sampling 做 filtered SFT

RLFineTune(Algorithm 4):對每道題從 π_ref 抽 m = O(C_seq) 條候選 CoT,只保留 verifier 接受(且機率不太低)的那些,再對存活者擬合模型。Proposition 4.3 證明這可行,但計算量隨覆蓋度線性成長:

n_comp ∼ Õ( d · C_seq / ε )
——覆蓋成本 C_seq 乘上了準確率成本 1/ε。很痛。

光是要看到一條正確 CoT,你就得對每道題生成 ~Õ(C_seq) 條軌跡,而且每一個準確率等級都得重付一次。

圖 3 · RL 的自動課程:verifier 在每個 batch 裡把做錯的題加權放大,模型在這些題上做 RL 更新(依論文 Figure 3 重繪)。

主結果 — Theorem 4.5(自動課程讓覆蓋度與準確率解耦)

AutoTune.RL(Algorithm 5)把同一套 boosting 外層迴圈,包在以 RLFineTune 為底層學習器的架構上。用 n ≥ (d/ε)·polylog(C_seq, ε⁻¹, δ⁻¹, T) 道題,回傳 f̂ 滿足 Acc_ρ(f̂) ≥ 1−ε,且(略去 polylog):

n_comp ≤ Õ( d·C_seq + d/ε ) vs. baseline Õ(d·C_seq/ε)
verifier 呼叫 ≤ Õ( d·C_seq + d/ε )

為什麼奏效。每個 weak learner 只在 Õ(d) 道題上訓練,所以每題 Õ(C_seq) 的生成成本不再乘 1/ε——它變成一次性的 burn-in Õ(dC_seq),只隨 1/ε 對數成長。剩下的 Õ(d/ε)(把題目透過集成分流)幾乎與覆蓋度無關,等同於一個完美覆蓋參考模型的代價。暖機之後,你付的成本就彷彿覆蓋度是 O(1)。

這些不是新的啟發式。論文把知名系統定位成其理論的實例:DAPO 過濾全對／全錯 rollout、PCL 用 value model 挑題,都是 AutoTune 中 verifier 引導過濾的啟發式版本;ReST 與 DeepSeek-R1 的蒸餾階段,本質上就是 RLFineTune 的 rejection sampling。貢獻在於量化:何時把這些包進一層外部自動課程,能被證明地降低總計算量。

SECTION 07

限制與未來工作

乾淨的界是用簡化假設換來的;作者明白列出是哪些,並為最大的一項預告了 Part II。

固定參考模型 / 無 self-play

RLVR 結果假設固定的 π_ref 與給定覆蓋度 C_seq。實務方法(ReST、expert iteration)是用當前模型當參考,逐輪改善覆蓋度。self-play 下 Õ(dC_seq) 暖機能否縮小,仍是開放問題。

批次而非線上

演算法是批次的:在固定資料集上訓練、再評估。現代管線用線上 policy gradient(PPO、GRPO),模型持續更新。把自動課程推廣到「題目分布與模型共同演化」的線上設定,是未來工作。

超越覆蓋度 — 最關鍵的一項

RLVR 要求 π_ref 對每道題都覆蓋到最優 CoT。當覆蓋失敗(題目遠超當前能力),過濾就直接放棄。自動課程能否做到 coverage expansion——靠練簡單題來建立難題的覆蓋——留給即將到來的 Part II。

完美驗證

理論假設一個完美的 outcome verifier——對數學／程式碼很自然,但推廣到有雜訊或學出來的 reward model,是重要的開放問題。

總結。論文的訊息是一個乾淨的關注點分離:便宜的 verifier 告訴你「哪裡錯了」;boosting 把它變成幾何級數收斂;於是昂貴的監督(老師 CoT,或受覆蓋度限制的 rollout)只需投入 O(log(1/ε)) 次,而非 O(1/ε) 次。所有改善純粹來自自適應的資料選擇——不需要對題目分布或難度做任何假設。