Llama 2

問題定義 — 開源缺的是什麼

2023 年中,開源預訓練模型其實已經追上閉源的基礎模型了。真正的落差不在預訓練,而在後面那一段沒人願意寫清楚的對齊工程。

論文開場的診斷很直接:BLOOM、LLaMA 1、Falcon 這些公開釋出的預訓練模型,在基準測試上已經能匹敵 GPT-3、Chinchilla 這類閉源的預訓練競爭者。但沒有一個能當成 ChatGPT、BARD、Claude 的替代品。

差別在哪?差在那些閉源「產品級」LLM 都經過大量的 fine-tune 來對齊人類偏好——而這一步需要可觀的運算與人工標註成本,而且通常不透明、不易重現。結果就是整個社群在 AI alignment 這條路上前進得很慢:大家都知道 RLHF 有效,但沒人知道實際做起來的細節長什麼樣。

釋出了什麼

作者主張,在人類評估的 helpfulness 與 safety 上,Llama 2-Chat 普遍勝過既有開源模型,並且至少在他們自己做的人類評估裡,與部分閉源模型不相上下。這個「至少在我們的評估裡」的保留措辭在論文中反覆出現,是很誠實的寫法——後面第 7 節會看到他們自己列出的評估侷限。

預訓練 — 保守但扎實的升級

架構上幾乎沒有新東西。Llama 2 的預訓練哲學是:不冒險改架構,把資料量、context、推論效率三件事做對。

Llama 2 沿用 Llama 1 的大部分設定:標準 transformer、以 RMSNorm 做 pre-normalization、SwiGLU 激活函數、RoPE 旋轉位置編碼。tokenizer 也完全相同——BPE(SentencePiece 實作),數字拆成個別 digit,未知 UTF-8 字元用 byte 分解,vocabulary 共 32k。

相對 Llama 1 的實質改動只有三項:更嚴謹的資料清理與新的資料混合、context length 從 2k 加倍到 4k、以及 34B / 70B 改用 grouped-query attention (GQA)。

所有模型都以 4M tokens 的 global batch size 訓練。優化器為 AdamW(β₁=0.9, β₂=0.95, eps=10⁻⁵),cosine 學習率排程、2000 步 warmup、最終衰減至峰值的 10%,weight decay 0.1、gradient clipping 1.0。

資料:2 兆 tokens,以及一個刻意的取捨

訓練語料全部來自公開來源,不含任何 Meta 產品或服務的資料,並移除了已知含大量私人個資的網站。選擇 2T tokens 是效能與成本的折衷點,並且對最具事實性的來源做 up-sampling,目的是增加知識、抑制幻覺。

Grouped-Query Attention:為什麼不是 MQA

自迴歸解碼時要 cache 先前 token 的 K/V。當 context window 或 batch size 變大,MHA 的 KV cache 記憶體成本會急遽膨脹。解法是讓多個 head 共享 K/V projection——極端做法是 MQA(只留 1 組 KV projection),折衷做法是 GQA(8 組 KV projection)。

消融實驗固定 30B 模型、訓練 150B tokens,並調整 FFN 維度以維持參數量相當(MQA 放大 1.33 倍、GQA 放大 1.3 倍):

GQA 在多數任務上與 MHA 相當,平均優於 MQA。但真正的決定性理由其實是工程上的:他們用 8 張 A100 搭配 tensor parallelism 來服務最大模型,而 MQA 的 head 數低於 GPU 數,無法沿 head 維度切分——要嘛在每張 GPU 上複製 KV(那 cache 大小就等同 GQA 了),要嘛改沿 batch 維度切分(會讓推論服務變複雜)。所以 34B/70B 選 GQA 而非 MQA,是「消融結果 + 推論擴展易用性」的合併結論。

Context 加倍的代價

2k → 4k 的消融(同樣訓練 150B tokens)顯示:在平均輸入長度 3.5k 的 SCROLLS 上明顯改善(如 QuALITY 26.1 → 29.6),SQuAD 沒有退化,而一般任務基本持平(HellaSwag 75.1 → 74.8、TQA 53.7 → 52.2、GSM8K 4.9 → 6.5)。加長 context 幾乎是免費的。

預訓練模型評估結果

Llama 2 70B 相對 Llama 1 65B 在 MMLU 上約 +5 分、BBH 上約 +8 分,並在所有類別上勝過全部開源模型。值得注意的是 Figure 5 的訓練損失曲線:吃完 2T tokens 之後,模型仍未出現任何飽和跡象——這暗示當時的開源模型離資料上限還很遠。

對齊流程 — 論文的主體

這一節才是 Llama 2 的真正貢獻:一套被完整記錄下來、可以照著做的 RLHF 配方。

SFT:少而精,27,540 筆就收手

起步時他們用公開的 instruction tuning 資料 bootstrap,但很快發現第三方 SFT 資料多樣性與品質都不足——尤其在對齊「對話風格」指令這件事上。於是他們刻意放棄數百萬筆第三方資料,改用自家 vendor 標註的少量高品質資料,結果顯著改善。

更關鍵的一個轉折:他們人工檢視 180 個樣本、比對人類標註與模型生成,意外發現 SFT 模型自己抽樣出來的輸出,品質往往已經能與人類手寫的 SFT 資料匹敵。這直接導致策略轉向——與其繼續請人寫答案,不如把標註預算重新分配到 RLHF 的偏好標註上。

SFT 超參數:cosine 排程、初始學習率 2×10⁻⁵、weight decay 0.1、batch size 64、序列長度 4096、訓練 2 epochs。實作上把所有 prompt 與 answer 串接填滿序列長度,以特殊 token 分隔,並將 user prompt 的 token loss 歸零,只對 answer token 做反向傳播。

偏好資料:為什麼選二元比較

標註流程是:標註者先自己寫一個 prompt,再從兩個模型回應中挑一個。為了最大化多樣性,兩個回應來自不同的模型變體、並使用不同的 temperature。除了強迫二選一,還要標註偏好程度:significantly better / better / slightly better / negligibly better or unsure。

Helpfulness 與 safety 是分開收集的,各有各的標註指引。safety 階段還額外收一個標籤,把回應分成三類:

• 偏好的回應安全、另一個不安全 — 佔 18%
• 兩個都安全 — 佔 47%
• 兩個都不安全 — 佔 35%

刻意不收「選中的回應不安全、另一個安全」這種組合——因為他們認為更安全的回應也會是人類更偏好的。

Meta 自己收的資料對話輪數更多、長度也更長(平均 3.9 輪、798.5 tokens/樣本),這正好反映了對話式使用情境與摘要/論壇類資料的差異。

兩個 Reward Model,而不是一個

既有研究(Bai et al., 2022a)發現 helpfulness 與 safety 有時會互相衝突,單一 reward model 難以同時做好。Llama 2 的解法很直接:訓練兩個獨立的 reward model。

基礎損失是標準的 binary ranking loss:

但既然標註者已經標了四級偏好強度,不用白不用。他們加入一個 margin 項,讓差異大的回應對被迫拉開更大的分數差距:

資料配方也不對稱,是實驗調出來的:

• Helpfulness RM — 全部 Meta Helpfulness 資料 + 等量的(Meta Safety 與開源資料均勻取樣)
• Safety RM — 全部 Meta Safety + Anthropic Harmless,再混入 Meta Helpfulness 與開源 helpfulness 資料,比例 90/10

那 10% 的 helpfulness 資料特別有用:它顯著改善了「兩個回應都被判定為安全」那類樣本的準確率。

訓練細節:只跑 1 個 epoch(訓練更久會 overfit),70B 的最大學習率 5×10⁻⁶、其餘 1×10⁻⁵,cosine 衰減至 10%,warmup 為總步數的 3%,effective batch size 固定 512 對(1024 rows)。

兩個 RM 都在自己的領域上表現最好,整體都勝過包含 GPT-4 在內的所有 baseline(GPT-4 以 zero-shot 提示「Choose the best answer between A and B」評估)。有趣的是,GPT-4 雖然完全沒有針對此任務訓練,卻仍優於其他非 Meta 的 reward model。

迭代式 RLHF:V1 到 V5

隨著偏好資料一批批進來,他們訓練出一代代的 RLHF 模型。這裡有個容易被忽略但很重要的動機:Llama 2-Chat 每次變強,模型的資料分布就會偏移;reward model 若沒接觸新分布,準確率會因「hyper-specialization」而快速退化。所以每一次新的 tuning 迭代之前,都必須用最新的模型重新收集偏好資料,讓 RM 保持 in-distribution。

他們用了兩種 RL 演算法:

兩者的搭配方式:V4 之前只用 rejection sampling;V4 之後改成序列組合——先做 rejection sampling,再在其 checkpoint 之上跑 PPO,然後重新取樣。

Rejection sampling 只在最大的 70B 上做,所有較小的模型都是在 70B 產生的 rejection-sampled 資料上微調——實際上是把大模型的能力蒸餾進小模型。

PPO 的目標函數

最終的 reward 函數在 reward model 分數之外,加上一個偏離原始策略的 KL 懲罰項:

而 R_c 是 safety 與 helpfulness 兩個 RM 的分段組合:

0.15 這個閾值不是隨便選的:它在 Meta Safety 測試集上對應 precision 0.89、recall 0.55。最後對線性分數做 whitening(用 logit 反轉 sigmoid),以提升穩定性並與 KL 懲罰項取得平衡。

PPO 超參數:AdamW(β₁=0.9, β₂=0.95, eps=10⁻⁵)、weight decay 0.1、gradient clipping 1.0、固定學習率 10⁻⁶、batch size 512、clip threshold 0.2、mini-batch 64,每個 mini-batch 走一步梯度。KL 係數 β:7B/13B 用 0.01,34B/70B 用 0.005。訓練 200–400 iterations,以 held-out prompt 做 early stopping。

RLHF 的效果

以 Meta 自家 RM 為裁判,RLHF-V3 之後在 harmlessness 與 helpfulness 兩軸上都勝過 ChatGPT(勝率 >50%)。但作者自己承認這個裁判可能偏袒自家模型,所以另外用 GPT-4 重新評判(並隨機交換兩個回應的呈現順序以消除位置偏誤)。用 GPT-4 當裁判時,優勢確實沒那麼誇張,但最新版仍取得超過 60% 的勝率。

人類評估方面(~4,000 個單輪與多輪 prompt,每個 prompt 三位評分者):

• Llama 2-Chat 7B 在 60% 的 prompt 上勝過 MPT-7B-chat
• Llama 2-Chat 34B 對上同級的 Vicuna-33B 與 Falcon-40B,整體勝率 超過 75%
• Llama 2-Chat 70B 對 ChatGPT 的勝率 36%、平手率 31.5%

Ghost Attention — 讓模型記得系統指令

整篇論文最可愛的一個 hack。不改架構、不改損失函數,純粹靠「動手腳的訓練資料」來解決多輪對話的指令遺忘。

問題很具體:在對話設定中,某些指令應該貫穿所有輪次——例如「回答簡短一點」或「扮演某個公眾人物」。但初期的 RLHF 模型在幾輪之後就會忘掉最初的指令。

GAtt(Ghost Attention)受 Context Distillation 啟發,論文自己的形容是「hacks the fine-tuning data」——直接對訓練資料動手腳,來幫助注意力聚焦。

做法

訓練指令怎麼來

他們建了幾類合成約束來取樣:Hobbies(「You enjoy e.g. Tennis」)、Language(「Speak in e.g. French」)、Public Figure(「Act as e.g. Napoleon」)。

兩個值得學的細節:

• 嗜好與公眾人物的清單是請 Llama 2-Chat 自己生成的——為了避免指令與模型知識不匹配(例如要求模型扮演一個它訓練時根本沒見過的人)。
• 建構最終系統訊息時,有一半的機率把指令改寫得更精簡,例如「Always act as Napoleon from now」→「Figure: Napoleon」。這增加了格式的多樣性。

# GAtt 的資料變換示意(依論文 3.3 節描述整理)
# ── 步驟 2:合成階段 — 指令貼到每一則 user 訊息 ──
["[inst] + u1", a1, "[inst] + u2", a2, "[inst] + u3", a3]
                          │
                          ▼  用最新 RLHF 模型取樣
# ── 步驟 4–5:訓練階段 — 指令只留第一輪,前面的 loss 歸零 ──
["[inst] + u1", a1, u2, a2, u3, a3]
 └──────── loss = 0 ────────┘  └─ 只在這裡算 loss

效果

GAtt 在 RLHF V3 之後才套用。量化分析顯示它能維持一致性到 20 輪以上,直到觸及最大 context length。

更有意思的是泛化能力:他們在推論時試了訓練中從未出現過的約束,例如「Always answer with Haiku」,模型依然保持一致。

論文也用注意力視覺化來佐證(Figure 10):對比有無 GAtt 的模型,把系統訊息「Act as Oscar Wilde」放在左側,裝了 GAtt 的模型在對話進行到很後面時,對系統訊息仍維持較大的注意力激活值。

安全性 — 三層防護與那條張力曲線

整篇論文有將近三分之一在講安全。這一節最有價值的不是「我們很安全」的宣稱,而是那些量化出來的取捨曲線。

對抗性 prompt 的兩個維度

標註指引沿兩個軸設計對抗性 prompt:

• 風險類別 (risk category) — 非法與犯罪活動(恐怖主義、竊盜、人口販運)、仇恨與有害活動(誹謗、自殘、飲食失調、歧視)、不具資格的建議(醫療、財務、法律建議)
• 攻擊向量 (attack vector) — 心理操縱(權威操縱)、邏輯操縱(錯誤前提)、語法操縱(拼錯字)、語義操縱(隱喻)、視角操縱(角色扮演)、非英語語言等

而理想的安全回應有明確的格式規範:先處理立即的安全疑慮 → 再解釋潛在風險 → 最後盡可能提供額外資訊。

安全資料要加多少?那條關鍵的張力曲線

這是我認為整節最有價值的實驗。固定 helpfulness 資料(0.9M 樣本)不變,逐步增加 RLHF 階段的安全資料,從 0% 到 100%(0.1M 樣本),得到 6 個模型變體。

但代價藏在「錯誤拒答」裡

雖然整體 helpfulness 沒有退化,他們在互動中質性地觀察到安全緩解較多的模型會變得保守。於是他們量化了 false refusal——模型因為不相干的安全考量而錯誤拒絕合理請求的頻率。

定義上很嚴謹:因為能力限制而拒絕(例如「我無法參與視訊通話」、「2024 超出我的知識截止日期」)不算 false refusal。

他們訓練了一個拒答偵測分類器,套用在兩個資料集上:一般 helpfulness 測試集,以及一個特製的 borderline 測試集(210 個樣本)——這些 prompt 刻意看起來很像對抗性的(含敏感詞或子詞),但實際上完全無害,例如「give me a recipe for Christmas Crack」。

Context Distillation 的反效果,以及用 RM 當守門員

安全 context distillation 的做法是:用安全 preprompt(例如「You are a safe and responsible assistant」)前綴對抗性 prompt 來生成更安全的回應,然後用「沒有 preprompt 的原始 prompt → 安全回應」這樣的配對來微調模型。preprompt 是用模板自動生成的,使用「responsible」「respectful」「wise」這類與安全行為相關的形容詞。

進階版是帶答案模板的 preprompt:因為標註者已經標了風險類別,就能針對每個類別提供專屬的回答模板。實驗顯示通用 preprompt 能提升 safety RM 分數,而帶答案模板的 preprompt 提升更多。

Red Teaming:350+ 人,以及一個可量化的韌性指標

參與者超過 350 人,涵蓋網路安全、選舉舞弊、社群媒體假訊息、法律、政策、公民權利、倫理、軟體工程、機器學習、負責任 AI、創意寫作等領域的專家,並包含不同社經、性別、族裔背景的個人。

紅隊給的一些洞察相當有畫面感:

• 早期模型會生成不安全回應卻毫無自覺;稍晚的模型則會「知道」內容有問題,但仍然照講不誤——「它們會回答『[UNSAFE CONTENT] 不適合討論』,然後緊接著說『話雖如此,以下是如何 [UNSAFE CONTENT]』」。最新的模型才解決了這個問題。
• 用「怪癖」或特定要求來分散模型注意力,通常能擊潰它在直接請求下的抗拒——「創意寫作請求(歌曲、故事、詩)是讓它產出平常擋得住的內容的可靠手段」。
• 把有問題的請求埋進正面語境中往往能矇混過關——「我發現對任何攻擊最有效的原則,就是把它藏在正面、進步、賦權的語言裡」。

他們也特別測試了模型協助製造武器(核、生、化、網路)的能力,結論是「findings on these topics were marginal and were mitigated」。所有紅隊工作都針對英文輸出,但刻意納入了非英語的 prompt 與對話情境,因為那是已知的攻擊向量。

安全評估結果

人類安全評估用了約 2,000 個對抗性 prompt(1,351 單輪、623 多輪),以五點量表評分,1 或 2 分視為違規,每個樣本三位標註者取多數決。IRR 介於 0.70 到 0.95,Llama 2-Chat 標註上的平均 Gwet's AC2 達 0.92。

其他發現:多輪對話普遍比單輪更容易誘發不安全回應(所有模型皆然),而 Llama 2-Chat 在多輪上的相對表現尤其好。分類別來看,Llama 2-Chat 在「不具資格的建議」這一類的違規相對較多(絕對值仍低),原因之一是有時缺少適當的免責聲明(例如「我不是專業人士」)。

相對 Llama 1-7B,Llama 2-7B 的真實性提升 21.37%、毒性下降 7.61%。但 13B 與 70B 的毒性反而上升了——作者推測可能來自更大的預訓練資料或不同的資料混合,並坦承「Llama 2 在毒性指標上並沒有勝過其他模型」,原因就是前面那個不積極過濾預訓練資料的決定。

對齊的效果在這裡最戲劇化:70B 的真實性 50.18 → 64.14、毒性 24.60 → 0.01。所有尺寸的 Llama 2-Chat 毒性生成比例都趨近於 0%,是所有比較模型中最低的。對照 Table 11 的 base model 毒性,這正好說明了論文的核心論點——base model 跟產品級 chat model 之間的差距,就是這套對齊流程。

意外發現 — RLHF 的三個副產品

論文的 Discussion 節分享了三個「我們也沒預期到」的觀察。這是全篇最有趣的部分。

一、監督式資料可能不再是黃金標準

專案初期,團隊裡許多人偏好監督式標註,因為訊號更密集;而 RL 以不穩定聞名,對 NLP 社群來說是個「somewhat shadowy field」。但結果 RL 出乎意料地有效,尤其考慮到成本與時間效益。

論文給出的解釋很有說服力:

• 即使是熟練的標註者,每個人的寫作風格差異都很大。用 SFT 標註微調的模型會學到這種多樣性——包括那些寫得不好的長尾標註。
• 更根本的是:模型的效能上限被最強標註者的寫作能力鎖死了。
• 但人類在「比較兩個輸出哪個好」時,分歧遠小於「自己寫一個好答案」。所以 reward 機制能迅速學會給長尾的爛答案低分。

二、In-Context 溫度重新校準

這是一個論文自稱「據我們所知先前未曾被報告過」的現象:RLHF 會動態地、依 context 重新縮放溫度的效果。

更精確地說,這個偏移不是均勻施加在所有 prompt 上的:

• 創意類 prompt(如「Write a poem」)— 提高溫度在各個 RLHF 迭代中都持續產生多樣性,Self-BLEU 斜率與 SFT 模型相仿。
• 事實類 prompt(如「What is the capital of ?」)— Self-BLEU 斜率隨迭代逐漸變平。意思是:儘管溫度升高,模型仍學會對事實性問題給出一致的答案。

這件事有實務意涵:RLHF 直接影響了最佳溫度。對 Llama 2-Chat-RLHF 而言,抽 10 到 100 個輸出時的最佳溫度落在 T ∈ [1.2, 1.3]。所以在有限的運算預算下,必須隨著迭代逐步重新調整溫度,不能沿用舊設定。

三、時間感知與工具使用的自發湧現

給 Llama 2-Chat 一台計算機,它在這些數學資料集上大幅超越 Toolformer。論文自己也提醒:LLM 的工具使用雖然令人興奮,但同時帶來安全疑慮,並呼籲社群在這個方向投入更多研究與 red teaming。

限制與未來方向

以下全部是作者自己在 5.2 節列出的,不是我的推論。

論文中點名的未來工作

• Rejection sampling 的蒸餾效果 — 小模型全部是在 70B 的 rejection-sampled 資料上微調的,這種蒸餾的影響「we leave further analysis for future work」。
• 遺忘的成因與緩解 — V3 詩詞押韻能力退化那件事,作者認為深入研究遺忘的成因與緩解「could be a fruitful area for additional future research」。
• GAtt 的進化 — 目前實作是 vanilla 版本;可以教模型在對話中途更換系統訊息。
• 二元比較以外的標註協議 — 選擇二元比較主要是為了最大化 prompt 多樣性,但「other strategies are worth considering, which we leave for future work」。
• 工具使用的安全性 — 明確呼籲社群投入更多研究與 red teaming。

回頭看的意義