daniel.w
/
AnyBot
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Plan: M3 done (C3/C4/C7/S3)

This commit is contained in:
AnyBot Dev 2026-11-09 17:20:13 +08:00
parent ef58028cf4
commit adc4759a6b
1 changed files with 4 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
docs/plan-2026-11-improvements.md
View File

@ -86,7 +86,7 @@
- 手機端 PWA 存 session 的提醒文案與「裝置清單＋一頁登出」。 - 手機端 PWA 存 session 的提醒文案與「裝置清單＋一頁登出」。
- ✅ 完成標準：可關密碼-only；竊得 session 可被單一裝置清單踢除。 - ✅ 完成標準：可關密碼-only；竊得 session 可被單一裝置清單踢除。
## S3. Prompt injection 防線（操控域的核心風險） ## S3. Prompt injection 防線 ✅ 2026-11：敏感詞控件點擊每問（直接模式亦同、無放行符）；截圖塗黑卡號/OTP；讀进来的內容 `<untrusted>` 包夾＋系統提示；keep_to_chosen 補測試；紅隊集 R1–R7 進 bench（`--tasks R1..R7`，手動閘門——CI 沒有模型金鑰與 box）
1. 瀏覽器/畫面的敏感動作白名單：送出付款、發訊息、刪除、對外發文 → 一律詢問（policy 規則層，非模型自決）；網站來源（`browser_open` 的域）進政策判定。 1. 瀏覽器/畫面的敏感動作白名單：送出付款、發訊息、刪除、對外發文 → 一律詢問（policy 規則層，非模型自決）；網站來源（`browser_open` 的域）進政策判定。
2. 截圖遮罩：vault 已存卡號/密碼，截圖進模型前對照螢幕上可偵測的卡號/OTP 樣式做遮罩（正則＋框選重繪）。 2. 截圖遮罩：vault 已存卡號/密碼，截圖進模型前對照螢幕上可偵測的卡號/OTP 樣式做遮罩（正則＋框選重繪）。
3. `keep_to_chosen`（B26 那類參數改寫）補整合測試，禁模型改寫 `computer`/vault 目標。 3. `keep_to_chosen`（B26 那類參數改寫）補整合測試，禁模型改寫 `computer`/vault 目標。
@ -128,14 +128,14 @@
- 效益：打字進欄=1 呼叫（消掉 click+全選替換邊角case）；被遮擋/其他桌面視窗可操作；快速模型不再對編號點錯（消掉 bench 記錄的這整類失敗）。 - 效益：打字進欄=1 呼叫（消掉 click+全選替換邊角case）；被遮擋/其他桌面視窗可操作；快速模型不再對編號點錯（消掉 bench 記錄的這整類失敗）。
- ✅ 完成標準：T3/T8 與 lxappearance 題步數 −30% 以上；「編號點錯」在 v12 bench 歸零。 - ✅ 完成標準：T3/T8 與 lxappearance 題步數 −30% 以上；「編號點錯」在 v12 bench 歸零。
## C3. 高層語意工具（依赖 C2） ## C3. 高層語意工具 ✅ 2026-11：`menu_click`/`fill_form`/`wait_for` 進 `computer` 工具（AX）；batch 每步 `expect` 斷言（失敗即停＋附截圖）。紅隊/多選單 App 的 bench 加題待 Mac 驗證
- `menu_click("檔案","新視窗")`：走 AX 選單樹（`app_menu_controls` 已會讀），3 回合→1。 - `menu_click("檔案","新視窗")`：走 AX 選單樹（`app_menu_controls` 已會讀），3 回合→1。
- `fill_form(fields:[{name,value}])`：AX SetValue 逐欄填，1 回合＋1 截圖。 - `fill_form(fields:[{name,value}])`：AX SetValue 逐欄填，1 回合＋1 截圖。
- `wait_for(what, timeout)`：文字/元素出現或消失＋逾時（box 的 `SETTLE_SH` 探測通用化）；消掉截圖輪詢。 - `wait_for(what, timeout)`：文字/元素出現或消失＋逾時（box 的 `SETTLE_SH` 探測通用化）；消掉截圖輪詢。
- batch 每步加 `expect` 斷言：失敗點自動帶截圖＋原因回傳。 - batch 每步加 `expect` 斷言：失敗點自動帶截圖＋原因回傳。
- ✅ 完成標準：T8 填表 ≤2 回合；新增 2 題 bench（多選單 App、長表單）步數達標。 - ✅ 完成標準：T8 填表 ≤2 回合；新增 2 題 bench（多選單 App、長表單）步數達標。
## C4. 控制樹 diff 回傳（快速模型只吃文字） ## C4. 控制樹 diff 回傳 ✅ 2026-11：每次截圖附「＋/－ 控件變化」（multiset diff，macOS＋box 都有）；快速模型每步少讀整張清單。token −40% 的對照組數據待量
- 每步回傳：控制清單變化（新增/消失/值變）＋（僅主模型/審查步）截圖；`marks::fingerprint` 材料現成。 - 每步回傳：控制清單變化（新增/消失/值變）＋（僅主模型/審查步）截圖；`marks::fingerprint` 材料現成。
- 效益：每步少送一張 ~1.5k tokens 的圖→上下文膨脹慢 3 倍、摘要頻率降、TTFT 降。 - 效益：每步少送一張 ~1.5k tokens 的圖→上下文膨脹慢 3 倍、摘要頻率降、TTFT 降。
- ✅ 完成標準：「分開跑」模式每回合 token −40%，成功率不降（bench 對照組）。 - ✅ 完成標準：「分開跑」模式每回合 token −40%，成功率不降（bench 對照組）。
@ -149,7 +149,7 @@
- 常見操作（音量、亮度、Wi-Fi、鎖屏、時區、截圖、App 內建指令）登記 CLI/AppleScript/Shortcuts/dbus 捷徑，系統指示明令「有捷徑先捷徑，GUI 是後備」；bench T1 已證指令路 9 步 vs GUI 2 分鐘。 - 常見操作（音量、亮度、Wi-Fi、鎖屏、時區、截圖、App 內建指令）登記 CLI/AppleScript/Shortcuts/dbus 捷徑，系統指示明令「有捷徑先捷徑，GUI 是後備」；bench T1 已證指令路 9 步 vs GUI 2 分鐘。
- ✅ 完成標準：8 題中指令路佔 5 題以上、總步數 −25%。 - ✅ 完成標準：8 題中指令路佔 5 題以上、總步數 −25%。
## C7. 迴路保護從字串比對改狀態碼（配合 H3） ## C7. 迴路保護從字串比對改狀態碼 ✅ 2026-11：noop 偵測改機器標籤 `[[noop]]`（`computer::NOOP_TAG`），控制流不再匹配中文句子；合同測試釘住「句子可改、標籤不能跑掉」
- 現況：`agent.rs:1144` 用 `output.contains("畫面和上一步完全一樣")` 判 noop——脆。 - 現況：`agent.rs:1144` 用 `output.contains("畫面和上一步完全一樣")` 判 noop——脆。
- 改：工具結果尾部機器欄位 `[status: ok|noop|blocked|needs_human]`，迴路偵測（`agent.rs:1095-1144`、卡住偵測）讀欄位不讀散文；聊天 UI 仍顯示人話。 - 改：工具結果尾部機器欄位 `[status: ok|noop|blocked|needs_human]`，迴路偵測（`agent.rs:1095-1144`、卡住偵測）讀欄位不讀散文；聊天 UI 仍顯示人話。
- ✅ 完成標準：無字串比對迴路邏輯（單元測試反推）。 - ✅ 完成標準：無字串比對迴路邏輯（單元測試反推）。