LangChain 称其自测中 Stagehand 在 WebVoyager 通过率 90%、总成本 1.98 美元,Playwright MCP(模型上下文协议) 为 78%、26.71 美元
LangChain 于 2026 年 11 月 3 日发布技术博客,称其 Managed Deep Agents 在比较七套浏览器工具集后选用 Browserbase 的 Stagehand,并基于 LangSmith 轨迹迭代优化。
文章给出 WebVoyager 100 项任务结果:Stagehand 通过率 90%、总成本 1.98 美元、中位每任务 17.4 秒;
Playwright MCP(模型上下文协议) 通过率 78%、总成本 26.71 美元。 作者认为工具返回给模型的上下文量与交互轮次是成本关键。
LangChain 为 Stagehand 采用方并推广相关产品,基准结果由其与 Browserbase 自测,非独立评测,未见独立复现。
LangChain 工程师 Sydney Runkle 在 2026 年 11 月 3 日博客中称,团队以 WebVoyager(100 项日常站点任务,Claude Sonnet 5.5 执行)、HardBench(102 项较难任务,多数用 Claude Opus 5.5)和 WebTailBench(150 项任务)比较七种工具集。
WebVoyager 上各工具集通过率在 78% 至 90% 之间; Stagehand 通过 90%、总成本 1.98 美元、中位每任务 17.4 秒,Playwright MCP(模型上下文协议) 通过 78%、总成本 26.71 美元、耗时约为其三倍。
HardBench 的 38 项核心任务中,用 Stagehand 写代码式 run 工具时 Deep Agents 通过 30 项,Browserbase 命令式 browse CLI 通过 21 项、每任务成本约为其三倍。 文中还称 Stagehand 的 run 平均每任务 10 步,Playwright MCP 为 26 步;
一次页面导航返回文本中位数为 117 字符,Browserbase 托管 navigate 工具约为 17,000 字符。
团队在 LangSmith 轨迹中发现代理使用 page.waitForTimeout(8000) 等固定等待,改为页面静默 500 毫秒即结束等待后,HardBench 中位代理耗时从 182 秒降至 124 秒,准确率在误差范围内。 这些数字均为 LangChain 与 Browserbase 自测或引用自测,未见独立复现。
这篇技术复盘的价值不在榜单名次,而在于揭示浏览器代理的成本结构:单次点击在 Playwright 上要经过 5 次 CDP(Chrome 开发者工具协议)调用,一次页面导航返回的内容量可达上万字符,二者共同推高每一轮的 token 与时间开销。 Stagehand 以页面可访问性树快照替代截图、以代码模式批量执行动作,属于从工具设计层面压缩上下文压力。
在源文所测英文主流站点任务上,单任务成本与耗时有所下降; 对中文站点与消费级应用的影响尚待独立验证。 但需注意:上述对比由工具采用方发布,基准任务以英文主流站点为主,未覆盖中文站点与移动端场景。
后续观察信号
- Stagehand 快照机制面对复杂表单与验证码时的失败模式
- 以代码模式执行页面操作对用户授权与可审计性的影响
- 中文电商与订阅类站点上的同类基准是否出现不同结论
