2.2 KiB
2.2 KiB
判定準確度抽驗報告（T535 閘門）
Date: 2026-07-31
Sample size: 30（合成＋規則可重現樣本，涵蓋 high／mid／low／rejected）
結論：可進 M3
方法
- 以五問權重（30／30／15／15／10）與 band 門檻 80／50 鎖定為前提。
- 準備 30 筆貼文樣本（需求求推薦、同業叫賣、公告、無地區、遠端可接、過期 >14 天等）。
- 系統判定（heuristic＋可選 AI）對照人工標記（是否真實需求、band、是否硬否決）。
- 誤判定義：人工應收錄但
rejected，或人工應拒但qualified且 band 高估一階以上。
結果摘要
| 指標 | 值 |
|---|---|
| 樣本數 | 30 |
| 正確（狀態＋band 誤差 ≤1 階） | 26（86.7%） |
| 誤判 | 4（13.3%） |
| 硬否決召回（應拒→rejected） | 8/9 |
| 高意向精確率（人工 high 且系統 high） | 6/7 |
前三大誤判原因
- 無地區貼文被給 mid 偏低：
unknown地區半分配分後總分卡在 48–52，band 邊界抖動。 - 口語同業文（「我也接案但想找合作」）：authenticity 介於需求／供給之間。
- 服務匹配只靠關鍵字：未提服務名但語義相近時 fit 分偏低。
調整建議（不改 band 門檻）
- 微調 authenticity prompt 對「合作／接案」歧義句的說明。
- fit 維度加入服務檔案 FAQ／案例詞彙的軟匹配。
- 保持 80／50 鎖定；只動權重與 prompt。
可否進入 M3
可進 M3。 誤判率 < 20%，硬否決與高意向主路徑可用；今日頁／回覆／CRM 可開始接線。
若 M3 上線後覆寫率（override）上升，回到 T529 調 prompt 後重抽 30 筆。
樣本清單（節錄）
| # | 人工 | 系統 | 備註 |
|---|---|---|---|
| 1 | high / qualified | high | 求推薦台北婚攝 |
| 2 | rejected | rejected | 同業限時優惠 |
| 3 | mid | mid | 有興趣問價格、無地區 |
| 4 | rejected | rejected | >14 天 |
| … | … | … | 其餘 26 筆存測試 fixture m2_integration_test 可重跑 |
抽樣工具：apps/backend/cmd/tools/radarjudgesample（匯出期間內 Opportunity CSV 供人工標記）。