Mem0

問題定義 — 為什麼長 context 還不夠?

就算 GPT-4o 給 128K、o1 給 200K、Gemini 1.5 給 10M context window,LLM agent 在跨日、跨週的對話裡仍會「忘記」使用者偏好。Mem0 主張這不是 context 不夠長的問題,而是缺少一套像人類那樣可以選擇性儲存、整併、回憶的記憶機制。

1.1 沒有持久記憶的具體失效樣態

論文用 Figure 1 的素食使用者為例:第一次對話提到「我是素食、不吃乳製品」;隔了一段時間再問「晚餐推薦?」,沒有記憶的系統直接回 chicken,完全推翻先前偏好。這類失敗會直接破壞使用者信任,在醫療、教育、企業客服等高風險場景尤其致命。

1.2 為什麼「把整段對話塞進 context」也不是答案?

1.3 本文貢獻

Mem0 架構 — Extraction + Update 兩階段

Mem0 採「增量處理」設計:每來一對新訊息就跑一次 pipeline,擷取候選事實,再決定要對既有記憶做哪種操作。整個流程靠 LLM 的 tool-call 機制做分類,不需要額外的 classifier。

2.1 Extraction 階段

對話新加進來一對訊息 (mt-1, mt)(通常是 user + assistant 一輪),系統用兩個來源建立 context:

• (1) 對話摘要 S — 由背景的非同步模組定期刷新,代表整段對話的語意主軸。
• (2) 最近 m 則訊息 — {mt-m, ..., mt-2},提供 fine-grained 的時序 context;實驗中 m = 10。

2.2 Update 階段 — 用 tool-call 做四選一

對每個候選事實 ω_i,先用 vector embeddings 從 DB 抓 top-s = 10 條語意相近的記憶,然後把「候選事實 + 相似記憶」一起餵給 LLM,透過 function-call 的 tool-call 介面選一個動作:

2.3 實驗組態

# Mem0 default configuration (論文 Section 2.1 末段)
m = 10                # 最近訊息視窗
s = 10                # 比對相似記憶數
LLM = "gpt-4o-mini"   # 所有 LLM 操作(extraction + update)
vector_db = "dense embeddings"   # 用於 update phase 的 similarity search

Mem0g — 圖結構記憶變體

Mem0g 把對話事實改用 directed labeled graph 表示:實體為節點、關係為邊。這個結構在跨多輪、需要 relational reasoning 的任務(尤其 temporal、open-domain)上特別有利。底層用 Neo4j 當 graph DB。

3.1 圖結構定義

每個節點 v ∈ V 帶三個欄位:① entity type、② 語意 embedding ev、③ metadata(含 creation timestamp tv)。關係以三元組 (vs, r, vd) 表達。

3.2 兩階段 extraction

3.3 更新策略 — Conflict Detection

每加入新三元組時,先對 source 與 destination 兩端各算 embedding,在圖中找 similarity 高於 threshold t 的既有節點;依「兩端都有 / 一端有 / 兩端都沒有」分支處理。關鍵設計:衝突的舊關係不會被物理刪除,而是被標記為 invalid,這樣才能保留 temporal reasoning 的歷史軌跡。

3.4 雙策略 retrieval

Update 演算法 — Algorithm 1

這個演算法描述 update 階段「對每個候選事實如何決定操作」的完整流程。Mem0 與 Mem0g 都用同一套邏輯,只是 storage 結構不同。

# Algorithm 1 · Memory Management System: Update Operations
# Input : retrieved facts F, existing memory store M = {m1, ..., mn}
# Output: updated memory store M'

procedure UpdateMemory(F, M):
    for each fact f in F:
        operation = ClassifyOperation(f, M)

        if operation == "ADD":
            id = GenerateUniqueID()
            M = M ∪ {(id, f, "ADD")}              # 加入新事實

        elif operation == "UPDATE":
            mi = FindRelatedMemory(f, M)
            if InformationContent(f) > InformationContent(mi):
                M = (M \ {mi}) ∪ {(id_i, f, "UPDATE")}   # 用更豐富的資訊覆蓋

        elif operation == "DELETE":
            mi = FindContradictedMemory(f, M)
            M = M \ {mi}                              # 刪掉被推翻的記憶

        elif operation == "NOOP":
            pass                                       # 不變動

    return M


function ClassifyOperation(f, M):
    if not SemanticallySimilar(f, M):
        return "ADD"           # 全新資訊
    elif Contradicts(f, M):
        return "DELETE"        # 與既有記憶衝突
    elif Augments(f, M):
        return "UPDATE"        # 強化既有資訊
    else:
        return "NOOP"          # 無需變動

LOCOMO 資料集與評估方法

LOCOMO 是專為 long-term conversational memory 設計的 benchmark,涵蓋多 session、跨日的對話與大量問答,是目前最完整的 memory 評估資料集之一。

5.1 LOCOMO 結構

5.2 四種 question 類別

原始 LOCOMO 還有 adversarial 類別(測 agent 能不能拒絕不可回答的問題),作者排除掉,因為這類問題沒有 ground truth 答案。

5.3 評估指標

5.4 Baseline 六大類

所有對照組統一用 gpt-4o-mini、text-embedding-small-3、temperature = 0 以求可重現。

主要實驗結果 — Table 1 逐欄拆解

下表為 LOCOMO 上每個方法在四種 question 類型下的 F1 / B1 / J。粗體 = 該欄最佳;橘色 = 本文方法。J 為 10 次 run 平均 ± 1σ。

A-Mem* 表示作者重跑 A-Mem (temperature=0) 並產生 J 分數,原 paper 沒有提供。

6.1 Single-hop — Mem0 大幅領先

Mem0 以 J = 67.13 拿下最佳,比第二名 OpenAI(63.79)高約 5%、比 LangMem / Zep 都高約 8%。Mem0g 在這欄略輸 Mem0,顯示「資訊只在單一 turn」時,relational 結構帶來的好處有限。A-Mem* 落後 25 分以上,印證 fine-grained、結構化 indexing 的必要性。

6.2 Multi-hop — Mem0 仍是冠軍

Mem0 J = 51.15、F1 = 28.64,顯著贏過所有 baseline。值得注意的是 Mem0g(47.19)在這欄並沒贏 Mem0,作者解讀為「圖結構在跨 session 整合複雜資訊時可能反而引入冗餘 / overhead」,密集自然語言記憶在這類整合任務上更直接。

6.3 Open-domain — Zep 險勝 0.89 分

Zep 以 J = 76.60 排第一,Mem0g 緊追在後(75.71,僅差 0.89)、Mem0 = 72.93。作者認為 Zep 在整合對話記憶與外部知識上有一致(但微小)的優勢。

6.4 Temporal — Mem0g 主場

Mem0g 在 temporal 上同時拿下 F1 (51.55) 與 J (58.13) 兩個最佳值,Mem0 也有 55.51。OpenAI 在這欄災難性地只有 21.71,原因是 ChatGPT 即使被 prompt 要求帶 timestamp,實際生出的 memories 大多沒有時間戳。結論:結構化 relational graph + 顯式時間戳,是 temporal reasoning 的關鍵。

延遲、token 與整體 J — Table 2

論文真正想說服讀者的是「Mem0 不只精確,還可上 production」。這節整理 search/total p50/p95 latency 與整體 J,並附 token store 大小比較。

7.1 Search latency — Mem0 比第二名快 3 倍

7.2 Total latency vs J — 效率與精確度平衡

取 Table 2 中 Total p95 與 Overall J 排序:

「每分 J 的 latency 成本」= Total p95 ÷ Overall J,越小越好(由本文導讀計算,非論文原始指標)。

7.3 Memory store 大小比較

Zep 的爆量來自其設計:每個 node 都 cache 一份 abstractive summary,邊上又另存 facts,造成嚴重 redundancy。論文還 calls out:Zep 加完記憶後立刻查詢常常答錯,要等幾小時 background processing 才能拿到好結果 — 對 real-time application 不可用。相對地,Mem0 圖建構最差情況也在 1 分鐘內完成。

Prompt 原始碼 — 來自 Appendix A

論文 Appendix A 完整列出 LLM-as-a-Judge、Mem0 / Mem0g 答案生成、以及 OpenAI ChatGPT memory baseline 的 prompt。下面摘錄結構,完整內容請參照論文 pp.18-20。

8.1 LLM-as-a-Judge prompt

為了讓評估更公平,作者強調 J 在「答案語意相同但表述不同」時應該寬鬆給分。例如時間格式不同(May 7th vs 7 May)或相對 vs 絕對時間(last Tuesday vs 2023-05-02)都算 CORRECT。

Your task is to label an answer to a question as "CORRECT" or "WRONG".
You will be given:
  (1) a question (posed by one user to another user)
  (2) a 'gold' (ground truth) answer
  (3) a generated answer which you will score as CORRECT/WRONG

# Example
Question:   Do you remember what I got the last time I went to Hawaii?
Gold answer: A shell necklace
# Generated answer can be much longer; be generous if it touches the same topic.

# Time-related questions: format / relative vs absolute time can both be CORRECT
# if they refer to the same date or period.

Question:         {question}
Gold answer:      {gold_answer}
Generated answer: {generated_answer}

First, provide a short (one-sentence) explanation of your reasoning,
then finish with CORRECT or WRONG. Do NOT include both labels.

Return the label in json format with the key "label".

8.2 Mem0 答案生成 prompt

You are an intelligent memory assistant tasked with retrieving accurate
information from conversation memories.

# CONTEXT
You have access to memories from two speakers in a conversation.
These memories contain timestamped information that may be relevant to
answering the question.

# INSTRUCTIONS
1. Carefully analyze all provided memories from both speakers
2. Pay special attention to the timestamps to determine the answer
3. If the question asks about a specific event or fact, look for direct evidence
4. If the memories contain contradictory information, prioritize the most recent
5. Convert relative time references ("last year") to specific dates based on
   the memory timestamp. e.g. a memory from "4 May 2022" mentioning "went to
   India last year" → trip in 2021.
6. Always convert relative time references to specific dates/months/years.
7. Focus only on the content of the memories; do not confuse character names
   mentioned inside memories with the actual users who created them.
8. The answer should be less than 5-6 words.

# APPROACH (step by step)
1. Examine all memories related to the question
2. Examine the timestamps and content carefully
3. Look for explicit mentions of dates / times / locations / events
4. If the answer requires calculation, show your work
5. Formulate a precise, concise answer based solely on the evidence
6. Double-check that your answer directly addresses the question
7. Ensure your final answer is specific and avoids vague time references

Memories for user {speaker_1_user_id}:
{speaker_1_memories}

Memories for user {speaker_2_user_id}:
{speaker_2_memories}

Question: {question}
Answer:

8.3 Mem0g 答案生成 prompt — 與 Mem0 幾乎相同,差別只在多加 graph relations

# 與 8.2 相同,但 APPROACH 多一步:
5. Analyze the knowledge graph relations to understand the user's knowledge context

# 並且 prompt 末段除了 memories 外,還會附上:
Memories for user {speaker_1_user_id}:
{speaker_1_memories}
Relations for user {speaker_1_user_id}:
{speaker_1_graph_memories}

Memories for user {speaker_2_user_id}:
{speaker_2_memories}
Relations for user {speaker_2_user_id}:
{speaker_2_graph_memories}

Question: {question}
Answer:

8.4 OpenAI ChatGPT memory baseline prompt

Can you please extract relevant information from this conversation and
create memory entries for each user mentioned? Please store these memories
in your knowledge base in addition to the timestamp provided for future
reference and personalized interactions.

(1:56 pm on 8 May, 2023) Caroline: Hey Mel! Good to see you! ...
(1:56 pm on 8 May, 2023) Melanie:  Hey Caroline! Good to see you! ...
...
# 整段 LOCOMO 對話直接餵進單一 chat session

作者特別說明:這個 baseline 比正常 OpenAI memory 使用情境「更寬鬆」,因為他們是把所有抽出的 memories 都當 context 給後續問答,而不是只用 question-relevant 的部分 — 算是給 OpenAI 一個 fair-or-better 的 setup。即便如此,OpenAI 在 temporal 上仍只有 21.71。

結論與未來工作

作者把這篇定位成「memory layer for production AI agents」的第一步:已經能在跨 session、跨日的對話裡保持一致,且 token / latency 足以上 production,但還有幾個方向值得繼續做。

9.1 論文宣稱的整體 gain

9.2 未來工作方向