驗證
信任來自量測。一項消融實驗甚至顯示,直接給 SQL 存取權也沒有幫助 —— 瓶頸是結構,而不是存取權。
整體準確率95%
對抗式複查 → 準確率+6%
對抗式複查 → token+32%
對抗式複查 → 延遲+72%
| 方法 | 作用 | 類型 |
|---|---|---|
| 以儀表板為基礎的評測 | 自動產生、人工驗證的標準答案 | 離線 |
| 長尾評測 | 由 LLM 依業務脈絡產生 | 離線 |
| 消融測試 | 找出真正影響準確率的元件 | 離線 |
| 對抗式複查 | 再跑一次、對答案提出批判 | 線上 |
| 來源出處註腳 | 標示資料來源層級與新鮮度 | 線上 |
| 修正回收 | 把使用者的更正轉成自動化 PR | 線上 |