ComponentBench: Diagnosing Component-Level Failures in Computer-Use Agents

当前计算机使用代理（computer-use agents）的评估体系存在明显断层：长周期工作流基准（如WebArena、OSWorld）难以定位具体失败环节，而原子级GUI定位基准（如ScreenSpot）又无法覆盖现代UI组件所需的多步交互。为此，论文提出ComponentBench——首个面向现代网页UI组件层级的系统性诊断基准与评估框架。该基准构建了一个跨库无关的97类标准UI组件本体（涵盖14大家族、24种任务模板），在Ant Design、MUI和Mantine等主流组件库中实例化出2,910个程序化验证任务，并配套清洗后的人类参考轨迹，支持对任务成功率与交互效率的双重评估。创新性地引入基于回放的人类轨迹审计机制，量化渲染后实际结构难度，并建立可解释的结构化失效归因体系。在GPT-5.4、Gemini 3 Flash、Qwen3-VL等7个前沿模型及AX-tree、Set-of-Marks、Pixel、Browser-Use四类观测/动作空间下的实验表明：同一模型在不同输入输出模态下成功率差异超30%；即使最优配置下，代理平均耗时仍为人类的3.7倍；滑块、拖拽列表、分割器等空间操作组件普遍低于60%通过率；视觉干扰（如紧凑布局与界面杂乱）显著扩大AX-tree与Pixel模态间性能差距。结果证实，组件级细粒度评估能有效揭示长周期任务与单步定位基准均无法捕获的关键失效模式，为代理在真实UI环境中的鲁棒性与实用性提升提供精准诊断依据。