29 lines
1.2 KiB
Markdown
29 lines
1.2 KiB
Markdown
# Opportunity Inbox accuracy and cost baseline
|
||
|
||
Updated: 2026-08-11
|
||
|
||
這份報告只使用可去識別的公開文字 fixture：
|
||
`apps/backend/internal/module/radar/usecase/testdata/opportunity_inbox_accuracy.json`。
|
||
它不是線上流量的統計，也不宣稱已代表所有 Threads 貼文。
|
||
|
||
## Reproducible gates
|
||
|
||
```bash
|
||
cd apps/backend
|
||
go test ./internal/module/radar/usecase -run 'AccuracyFixture|OpportunityAccuracy' -count=1
|
||
```
|
||
|
||
Fixture gate 結果：10 筆、8 筆需求、2 筆 provider／公告排除；`precision_at_10=0.80`，`high_without_required_evidence=0`，`provider_or_announcement_in_high=0`。
|
||
這是前處理與排序的 regression baseline，不是未驗證的 P0 production KPI。
|
||
|
||
## Cost accounting
|
||
|
||
- preview、review、列表與前處理不扣點。
|
||
- API search 成功才記 `web_search`；AI 判定才記 `ai_research`；補全／回覆走 `ai_copy`。
|
||
- BYOK 事件保留 `key_mode=byok`，平台 credits 維持 0。
|
||
- provider 失敗或版本衝突會 release 預留點數；judge cache hit 為 0 credit。
|
||
|
||
## Known interpretation limits
|
||
|
||
未知發布時間不加新鮮度分；fixture 的 stale／unknown label 只驗證規則，不推估真實時間分布。正式 live acceptance 需另存 sweep funnel 與 provider 成功率。
|