上手策略
從零開始,以及該先對齊的原則。
從零開始該從哪裡下手?
標準化資料集 + 幾十個離線評測 + 一個精簡的 knowledge skill,就能拿下大部分效益。不需要整套堆疊才能上線。
當下的準確率與未來的改進,哪個更重要?
先講清楚。這會決定你在上線前投入多少驗證,還是上線後再迭代。
要預期成長到多複雜的業務?
預期的複雜度,決定你現在要在語意層與業務知識圖譜上投入多少。
目標使用者有多技術?
越技術的使用者越能接受原始欄位與但書;業務型使用者則需要治理化、無歧義的答案。
準確率的預算有多少?
對抗式驗證大約換來 +6% 準確率,但代價是 +32% token 與 +72% 延遲。逐領域決定這筆交易值不值得。
對資料存取控制的容忍度?
你對存取控制的容忍度,劃出代理能讀取的範圍,也決定你需要的防護措施。