openclaw: evaluate native vision input for the bench model (screenshots currently text-only)

[Julia-Lex]

背景

PR #79 中我们把 openclaw 每任务配置里的图片理解显式关闭(tools.media.image.enabled=false),原因见该 PR:bench 模型在 openclaw.json 里注册为 "input": ["text"],media-understanding 自动检测在本 bench 网关上永远失败,每张截图白烧一次调用。关闭后行为与历史一致(主模型从未真正收到过图片信息),只是去掉了必败调用。

遗留问题

Agent 实际上是"盲"的:浏览器截图只落盘存档,不进模型上下文。多模态模型(gpt-5.4 等)本可直接消费截图,可能显著影响任务成功率。

建议的实验

1. 验证 bench 网关(OPENAI_BASE_URL 指向的 LiteLLM 路由)对 chat.completions 的 image_url 内容是否支持(直接 curl 一个带 base64 图片的请求即可)。
2. 若支持,在 browseruse_bench/agents/openclaw.py 的 _write_state_config 中把模型条目改为 "input": ["text", "image"](可做成 agent config 开关,如 vision: true,避免直接改变现有评分口径)。
3. 对照跑分:同一 split 下 text-only vs vision 各跑一轮,比较成功率与 token 消耗。

注意

• 这是影响评分口径的行为变更,应作为独立实验/配置项,不随 bug 修复夹带(PR fix(openclaw): stop provider env leak, disable image understanding, save base64 screenshots #79 的讨论结论)。
• 本机同一时间只能跑一个 openclaw bench(并发会触发已知网关 500)。

🤖 Generated with Claude Code