ACT-SQL

問題定義 — Problem Statement

Text-to-SQL 的目標是：在給定資料庫 schema 的前提下，把自然語言問句翻譯成對應的 SQL 查詢，讓一般使用者能以更直覺的方式存取關聯式資料庫。

過去研究主軸放在跨領域（cross-domain）的語意剖析器：在 Spider、SParC、CoSQL 這類資料集中，train / dev / test 所使用的資料庫互不重疊。傳統做法是訓練專用的 text-to-SQL 模型（如 RAT-SQL、LGESQL、PICARD），雖然成績亮眼，但有三個結構性痛點：

LLM 的出現帶來脈絡學習（in-context learning）這條新路：免微調、靠 zero-shot / few-shot prompt 即可運作。但作者指出當時的 LLM 方法仍有明顯缺口：

本文三大貢獻

方法論 — Methodology

作者把 SQL 生成過程形式化為一次 LLM 呼叫，表現好壞取決於三個變數：資料庫呈現格式、範例選擇策略，以及範例 prompt 的設計。

2.1 資料庫呈現格式（DB Prompt Style）

在 zero-shot 下，schema 的呈現格式幾乎主宰 LLM 表現。作者比較五種格式：

此外還會在每張表後附上 c 筆範例資料列（DB contents），幫助模型判斷實際儲存值（例如分辨 "France" vs "French"）。

create table singer (
  Singer_ID number,
  Name text,
  Country text,
  ...
  primary key (Singer_ID)
)
/* 3 example rows from table singer:
   Singer_ID  Name        Country      ...
   1          Joe Sharp   Netherlands  ...
   2          Timbaland   United States ...
   3          Justin Brown France       ... */

2.2 範例選擇（Exemplar Selection）— 混合策略

作者採用靜態 + 動態的混合策略，每個測試案例共有 ns + nd 個範例：

核心直覺：問句越相近的動態範例，越能提供有效資訊給 LLM。

核心：ACT-SQL 自動 CoT

作者把 CoT prompt 設計成「類似 schema linking」的形式 —— 但關鍵在於它能自動生成，完全不需人工標註。

傳統 schema linking 會把問句 token 與 schema 項目（table / column）做字串對應並連結。ACT-SQL 沿用此精神：對訓練樣本（schema + 問句 + 正解 SQL），自動推導出「哪段問句切片對應到哪個欄位/表」的推理鏈。

自動生成演算法

給定問句 q = (q₁,…,q|q|) 與 SQL s，定義切片 qᵢ,ⱼ = (qᵢ,…,qⱼ)。流程分三步：

自動生成的 CoT 範例（論文 Table 13）

問句：「找出有高畫質電視的 TV channel 的方案選擇與系列名稱」。Few-shot 版本誤把 Hight_definition_TV 多放進 SELECT；套用 ACT-SQL 後，模型先完整做 schema linking，最終寫出無冗餘欄位的正確 SQL：

Let's think step by step.
According to "TV channel that has high definition TV",
  columns [TV_Channel.Hight_definition_TV] may be used.
According to "package choice and series name",
  columns [TV_Channel.Package_Option] and
  [TV_Channel.series_name] may be used.
So the final answer is:
SELECT package_option , series_name
FROM TV_Channel WHERE Hight_definition_TV = 'yes'

延伸至多輪 Text-to-SQL

多輪問句彼此有上下文依賴，單輪 prompt 與 auto-CoT 無法直接套用（schema linking 資訊可能散落在多個句子中）。

作者採兩階段法：先用 LLM 把多輪問句改寫（rewrite）成去除上下文依賴的獨立問句，將多輪資料集轉成單輪資料集，再套用前述脈絡學習方法。每個多輪資料集會人工標註 10 個改寫範例以固定格式、提升品質。

資料集 — Datasets

單輪 + 穩健性變體

多輪對話

評測指標

多輪另用 QM（問句層級）與 IM（整段互動全對才得分）。

實驗結果 — Experiments

主力模型為低成本的 GPT-3.5-turbo，並用 GPT-4 在 Spider 上驗證 auto-CoT；相似度模型用 text2vec-base-chinese；temperature = 0（greedy）。

6.1 Zero-shot：DB 內容列數的影響

固定 Table(Column) 格式、只調整附帶的範例資料列數。不附內容時最差；設為 3 列時最佳；再多也不會更好。後續實驗一律用 3 列。

6.2 Zero-shot：DB 格式比較

zero-shot 下 Table(Column) 系列較佳（貼近 OpenAI 官方文件、近似預訓練資料）；含 PK/FK 的格式在 EX/TS 上有幫助，顯示鍵資訊對模型有效。

6.3 主結果：對比既有方法（Spider dev）

6.4 Dev vs Test：脈絡學習的隱藏優勢

微調模型因依 dev 表現挑選，易過擬合，test 反而下滑；脈絡學習方法 dev/test 對模型而言「等價」，故無此落差 —— 意味 ACT-SQL 的 dev 成績更具代表性。

6.5 穩健性變體成績

6.6 多輪資料集（QM / IM, TS）

多輪情境下 ACT-SQL 相對 few-shot 沒有明顯優勢（IM 甚至略降），整體與微調的 GAZP+BERT 相當但仍有改進空間 —— 作者歸因於兩階段法中的「問句改寫」品質不穩。

Prompt 原始碼 — 來自 GitHub Repo

下面是從 X-LANCE/text2sql-GPT 直接擷取的關鍵程式碼，呈現 ACT-SQL 實際上是怎麼組裝 prompt 的。論文附錄 C 的範例都源自這些函式。

7.1 System message — 一句話而已

不論 zero-shot 或 few-shot，給 Chat 模型的 system message 永遠是這一行（取自 util/prompt.py get_prompt()）：

# util/prompt.py · line 66
prompt = [{'role': 'system',
           'content': 'Given the database schema, you need to '
                      'translate the question into the SQL query.'}]

7.2 主要 prompt 組裝函式 get_prompt()

這是論文方法的核心入口：把 system message、若干 (user 問句 + assistant SQL 或 CoT) 範例、最後再加上實際測試案例的 user 問句，串成一個多輪對話。

# util/prompt.py · get_prompt() · 精簡版
def get_prompt(self, args, db_id=None, question=None, shots=[], c_num=-1):
    if c_num < 0:
        c_num = args.content  # DB 範例資料列數（論文設 3）

    if args.gpt in GPT_CHAT_MODELS:  # gpt-3.5-turbo / gpt-4
        prompt = [{'role': 'system',
                   'content': 'Given the database schema, you need to '
                              'translate the question into the SQL query.'}]

        # ===== 逐個塞入 ns + nd 個範例（靜態 + 動態） =====
        for shot in shots:
            prompt.append({'role': 'user',
                'content': f"Database schema:\n{self.db_prompts[shot['db_id']][c_num]}\n"
                           f"Question: {shot['question']}"})
            if args.cot:
                prompt.append({'role': 'assistant', 'content': shot['cot']})
            else:
                prompt.append({'role': 'assistant', 'content': shot['query']})

        # ===== 最後附上實際要回答的測試案例 =====
        if db_id and question:
            prompt.append({'role': 'user',
                'content': f'Database schema:\n{self.db_prompts[db_id][c_num]}\n'
                           f'Question: {question}'})

    elif args.gpt in GPT_COMPLETION_MODELS:  # code-davinci-002, text-davinci-003
        prompt = ''
        for shot in shots:
            prompt += 'Given the database schema:\n'
            prompt += self.db_prompts[shot['db_id']][c_num] + '\n'
            prompt += 'Translate the natural utterance into the SQL query: ' \
                      + shot['question'] + '\n'
            prompt += (shot['cot'] if args.cot else shot['query']) + '\n'
        if db_id and question:
            prompt += 'Given the database schema:\n'
            prompt += self.db_prompts[db_id][c_num] + '\n'
            prompt += 'Translate the natural utterance into the SQL query: ' + question + '\n'
            # 觸發 CoT 推理
            prompt += "Let's think step by step." if args.cot else 'SELECT'

    return prompt

7.3 Database schema 字串模板 — 五種格式怎麼生成

所有格式都由 PromptMaker.__init__ 在啟動時預先 build 好快取在 self.db_prompts[db_id][c_num]。關鍵分支：

# util/prompt.py · __init__ 精簡版
for i in range(len(tabs)):
    if args.api_doc:
        # ===== Table(Column) 格式：OpenAI 官方文件風 =====
        self.db_prompts[db_id][c_num] += f"# {tabs[i]}({', '.join([col[1] for col in cols if col[0] == i])})\n"
    else:
        # ===== Create(...) 系列：SQL DDL 風 =====
        self.db_prompts[db_id][c_num] += f'create table {tabs[i]} (\n'
        for j in range(len(cols)):
            if cols[j][0] == i:
                self.db_prompts[db_id][c_num] += f"    {cols[j][1]} {db['column_types'][j]}"
                if args.pf == 'eoc':  # End of Column：PK/FK 放欄位末
                    if j in db['primary_keys']:
                        self.db_prompts[db_id][c_num] += ' primary key'
                    for fk in db['foreign_keys']:
                        if fk[0] == j:
                            self.db_prompts[db_id][c_num] += f' references {tabs[cols[fk[1]][0]]}({cols[fk[1]][1]})'
                self.db_prompts[db_id][c_num] += ',\n'
        if args.pf == 'eot':  # End of Table：PK/FK 放整張表末
            pks = [cols[pk][1] for pk in db['primary_keys'] if cols[pk][0] == i]
            if len(pks) > 0:
                self.db_prompts[db_id][c_num] += f"    primary key ({', '.join(pks)}),\n"
            for fk in db['foreign_keys']:
                if cols[fk[0]][0] == i:
                    self.db_prompts[db_id][c_num] += f'    foreign key ({cols[fk[0]][1]}) references ...,\n'
        self.db_prompts[db_id][c_num] = self.db_prompts[db_id][c_num][:-2] + '\n)\n'

    # ===== 附加 DB 範例資料列（c_num 列，論文設 3） =====
    if c_num > 0 and os.path.exists(db_path):
        conn = sqlite3.connect(db_path)
        cursor = conn.cursor()
        db_contents = cursor.execute(f'SELECT * FROM {tabs[i]} LIMIT {c_num}').fetchall()
        self.db_prompts[db_id][c_num] += '/*\n'
        self.db_prompts[db_id][c_num] += f"{len(db_contents)} example rows from table {tabs[i]}:\n"
        self.db_prompts[db_id][c_num] += '\t'.join([col[1] for col in cols if col[0] == i]) + '\n'
        for record in db_contents:
            self.db_prompts[db_id][c_num] += '\t'.join([str(record[col[1]]) for col in cols if col[0] == i]) + '\n'
        self.db_prompts[db_id][c_num] += '*/\n'

對應的 CLI flag：

7.4 ACT-SQL Auto-CoT 生成 — cot.py 最核心邏輯

這段把論文「自動生成思維鏈」的演算法落地：拿訓練樣本（schema + 問句 + 正解 SQL），對 SQL 中每個表/欄/值找出最相關的問句切片並拼接成 CoT。

# cot.py · 核心迴圈（已精簡註解）
for i, example in enumerate(dataset):
    if 'cot' in example: continue

    # ① 切出問句所有 (i,j) 連續切片並編碼
    words = word_tokenize(example['question'])
    phrases = [' '.join(words[a:b]) for a,b in combinations(range(len(words)+1), 2)]
    phrase_encodings = sentence_encoder.encode(phrases, normalize_embeddings=True, ...)

    # ② 從正解 SQL 抓出涉及的表、欄、值
    tables  = get_tables_in_sql (example['sql'], dbs[example['db_id']])
    columns = get_columns_in_sql(example['sql'], dbs[example['db_id']])
    values  = get_values_in_sql (example['sql'])

    # ③ 已被欄位涵蓋的表不重複列出（論文有提到）
    schema_items = []
    for table in tables:
        for column in columns:
            if table in column: break
        else:
            schema_items.append((table, 'table'))
    for column in columns:
        schema_items.append((column, 'column'))

    # ④ 對每個 schema 項目，找相似度最高的問句切片
    schema_linkings = {}
    for schema_item in schema_items:
        encoding = sentence_encoder.encode(schema_item[0], ...)
        scores = util.cos_sim(encoding, phrase_encodings).squeeze(0).tolist()
        phrase = phrases[max(enumerate(scores), key=lambda x: x[1])[0]]
        if phrase not in schema_linkings:
            schema_linkings[phrase] = {'table': [], 'column': []}
        schema_linkings[phrase][schema_item[1]].append(schema_item[0])

    # ⑤ 拼接 CoT 字串（這就是 prompt 裡 assistant 回應的格式！）
    example['cot'] = "Let's think step by step.\n"
    for phrase in schema_linkings:
        example['cot'] += f'According to "{phrase}",'
        if schema_linkings[phrase]['table']:
            example['cot'] += f' tables [{", ".join(schema_linkings[phrase]["table"])}]'
        if schema_linkings[phrase]['column']:
            if example['cot'].endswith(']'):
                example['cot'] += ' and'
            example['cot'] += f' columns [{", ".join(schema_linkings[phrase]["column"])}]'
        example['cot'] += ' may be used.\n'
    if values:
        example['cot'] += f'Values [{", ".join(values)}] may be used.\n'
    example['cot'] += 'So the final answer is:\n'
    example['cot'] += ' '.join(example['query'].strip('\t ;').split())

7.5 多輪問句改寫 — get_prompt_remove_dependency()

SParC / CoSQL 上把多輪對話「壓平」成單輪問句的兩階段法，第一階段用這個 prompt：

# util/prompt.py · get_prompt_remove_dependency()
@staticmethod
def get_prompt_remove_dependency(gpt, questions, shots):
    def preprocess(q_list):
        result = ''
        for i, q in enumerate(q_list):
            result += str(i + 1) + '. ' + q + '\n'
        return result.strip()

    if gpt in GPT_CHAT_MODELS:
        prompt = [{'role': 'system',
                   'content': 'Given the list of questions, you need to '
                              'rewrite them to remove the context dependency.'}]
        for shot in shots:  # 論文：每個資料集人工標 10 個改寫範例
            prompt.append({'role': 'user',      'content': preprocess(shot['q_multiturn'])})
            prompt.append({'role': 'assistant', 'content': preprocess(shot['q'])})
        prompt.append({'role': 'user', 'content': preprocess(questions)})
    return prompt

原始多輪問句以 "1. ... \n2. ... \n3. ..." 編號丟給 LLM，期望它輸出同樣編號但去掉上下文依賴的獨立問句版本。出錯就是這裡出錯（論文 Table 10 案例）—— LLM 偶爾沒消除依賴或漏資訊。

7.6 完整 zero-shot prompt（實際送進 API 的樣子）

把上面所有片段組合，下面是 GPT-3.5-turbo 在 zero-shot + Create(EoT) + 3 列範例下會看到的訊息陣列：

[
  {
    "role": "system",
    "content": "Given the database schema, you need to translate the question into the SQL query."
  },
  {
    "role": "user",
    "content": "Database schema:\ncreate table stadium (\n    Stadium_ID number,\n    Location text,\n    Name text,\n    ...\n    primary key (Stadium_ID)\n)\n/*\n3 example rows from table stadium:\nStadium_ID  Location      Name           ...\n1           Raith Rovers  Stark's Park   ...\n2           Ayr United    Somerset Park  ...\n3           East Fife     Bayview Stadium...\n*/\ncreate table singer (\n    ...\n)\n...\nQuestion: How many singers do we have?"
  }
]

Few-shot CoT 模式下，system 後會多出 2(static) + 2(dynamic) = 4 組 (user / assistant) 對話；每組 assistant 內容就是 cot.py 預先生成的那段「Let's think step by step. ...」字串。

限制與未來工作 — Limitations & Future Work

結論一句話

ACT-SQL 用「自動產生、形似 schema linking 的思維鏈」，在單次 API 呼叫、零人工標註的前提下，於 Spider dev set 取得脈絡學習方法的 SOTA，並把方法初步延伸到多輪場景 —— 兼顧效能、速度與成本。