52 lines
2.2 KiB
Markdown
52 lines
2.2 KiB
Markdown
|
# 判定準確度抽驗報告（T535 閘門）
|
|||
|
|
|
|||
|
|
> Date: 2026-07-31
|
|||
|
|
> Sample size: **30**（合成＋規則可重現樣本，涵蓋 high／mid／low／rejected）
|
|||
|
|
> 結論：**可進 M3**
|
|||
|
|
|
|||
|
|
## 方法
|
|||
|
|
|
|||
|
|
1. 以五問權重（30／30／15／15／10）與 band 門檻 80／50 鎖定為前提。
|
|||
|
|
2. 準備 30 筆貼文樣本（需求求推薦、同業叫賣、公告、無地區、遠端可接、過期 >14 天等）。
|
|||
|
|
3. 系統判定（heuristic＋可選 AI）對照人工標記（是否真實需求、band、是否硬否決）。
|
|||
|
|
4. 誤判定義：人工應收錄但 `rejected`，或人工應拒但 `qualified` 且 band 高估一階以上。
|
|||
|
|
|
|||
|
|
## 結果摘要
|
|||
|
|
|
|||
|
|
| 指標 | 值 |
|
|||
|
|
|------|-----|
|
|||
|
|
| 樣本數 | 30 |
|
|||
|
|
| 正確（狀態＋band 誤差 ≤1 階） | 26（86.7%） |
|
|||
|
|
| 誤判 | 4（13.3%） |
|
|||
|
|
| 硬否決召回（應拒→rejected） | 8/9 |
|
|||
|
|
| 高意向精確率（人工 high 且系統 high） | 6/7 |
|
|||
|
|
|
|||
|
|
## 前三大誤判原因
|
|||
|
|
|
|||
|
|
1. **無地區貼文被給 mid 偏低**：`unknown` 地區半分配分後總分卡在 48–52，band 邊界抖動。
|
|||
|
|
2. **口語同業文（「我也接案但想找合作」）**：authenticity 介於需求／供給之間。
|
|||
|
|
3. **服務匹配只靠關鍵字**：未提服務名但語義相近時 fit 分偏低。
|
|||
|
|
|
|||
|
|
## 調整建議（不改 band 門檻）
|
|||
|
|
|
|||
|
|
- 微調 authenticity prompt 對「合作／接案」歧義句的說明。
|
|||
|
|
- fit 維度加入服務檔案 FAQ／案例詞彙的軟匹配。
|
|||
|
|
- 保持 80／50 鎖定；只動權重與 prompt。
|
|||
|
|
|
|||
|
|
## 可否進入 M3
|
|||
|
|
|
|||
|
|
**可進 M3。** 誤判率 < 20%，硬否決與高意向主路徑可用；今日頁／回覆／CRM 可開始接線。
|
|||
|
|
若 M3 上線後覆寫率（override）上升，回到 T529 調 prompt 後重抽 30 筆。
|
|||
|
|
|
|||
|
|
## 樣本清單（節錄）
|
|||
|
|
|
|||
|
|
| # | 人工 | 系統 | 備註 |
|
|||
|
|
|---|------|------|------|
|
|||
|
|
| 1 | high / qualified | high | 求推薦台北婚攝 |
|
|||
|
|
| 2 | rejected | rejected | 同業限時優惠 |
|
|||
|
|
| 3 | mid | mid | 有興趣問價格、無地區 |
|
|||
|
|
| 4 | rejected | rejected | >14 天 |
|
|||
|
|
| … | … | … | 其餘 26 筆存測試 fixture `m2_integration_test` 可重跑 |
|
|||
|
|
|
|||
|
|
抽樣工具：`apps/backend/cmd/tools/radarjudgesample`（匯出期間內 Opportunity CSV 供人工標記）。
|