Benchmark notes: the v10 rerun of the field and dialog tasks
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Uirha5F5gJt93t3yEx3XcS
This commit is contained in:
parent
1be088474e
commit
3513982f3a
|
|
@ -42,3 +42,9 @@ env ANYBOT_BOX_NAME=anybot-box-bench ANYBOT_BOX_VOLUME=anybot-box-bench-home ANY
|
|||
量測途中找到、修好的:box 上的 sudo 被安全規則擋掉(時區題一直失敗的原因)、gVisor 裡 setuid 不起作用、元素編號每看一次就重編(同一步的第二個點擊會點錯)、背景視窗的元素排在前面、網頁編號不進 shadow DOM、box 的 `TZ=UTC` 讓改時區看起來沒效、開新 box 撞埠號(重試後沒網路)。
|
||||
|
||||
之後拿掉了 box 映像檔的 `ENV TZ=UTC`(box 版本 8)。已知還沒解決:快速模型在純畫面操作(計算機)比較笨手笨腳。
|
||||
|
||||
## 之後再量(v10:用名字點、批次 16 個、單行輸入框全選後整段貼上、出兩次問題就改用 Bot 的模型)
|
||||
|
||||
改 Chromium 搜尋引擎、Chromium 加書籤、Mousepad 存檔、填表、計算機,「分開」各 3 次、「不分開」各 2 次:25/25 成功、網址打壞 0 次;平均一題「分開」46 秒、「不分開」67 秒。先前最難的改搜尋引擎從 2–6 分鐘(還常失敗)降到 46–147 秒。
|
||||
|
||||
找到的:快速模型對編號會對錯(改用名字)、一串按鍵塞不進 8 個的批次、box 上一個鍵一個鍵打進 Chromium 網址列會被剛開啟的頁面和自動完成攪亂(冒號掉、舊字混進來)、box 判斷單行輸入框時多了「#14(」前綴所以全選和貼上沒執行、同時給名字和 (0,0) 時點到角落、快速模型在陌生對話框一直猜名字。
|
||||
|
|
|
|||
Loading…
Reference in New Issue