Midscene.js

Midscene.js 是一个面向 UI 自动化测试的开源 SDK，主打用自然语言描述操作，再由多模态大模型理解页面并执行。它的官网提供中文入口、快速体验和 API 文档，源码则放在 GitHub。本文从使用角度梳理它的能力边界、适合人群和常见疑问，供测试、开发和需要批量操作网页的读者参考。

Midscene.js 使用体验：自然语言做 UI 自动化测试，省的是哪部分功夫

整体看，Midscene.js 把 UI 自动化测试里比较费时的元素定位和步骤编排，部分交给了模型。用户用“点击登录按钮”这类描述下达操作，工具再结合页面内容判断目标；需要提取数据时，也可以要求返回 JSON 格式，方便后续断言。

从使用方式看，它更接近“描述—执行—回看报告”的流程，而不是先写一大段选择器脚本。可视化报告和 Playground 是加分项，调试时能少走一些反复改脚本的弯路。不足也比较明显：自然语言执行会受页面变化和模型能力影响，关键流程仍建议保留人工复核。

它通常适合这几类人：

• 做 Web UI 自动化、想减少选择器维护的测试同学；
• 已经在用 Playwright 或 Puppeteer，希望补一层自然语言操作的开发者；
• 需要从页面提取结构化信息、做快速验证的人；
• 能看懂业务流程、想参与验收的产品或运营人员。

使用前有几件事值得先确认：

• 安装 Chrome 插件或接入项目前，先核对来源并做安全扫描，开源不等于零风险；
• SDK、模型和插件更新较快，使用前核对版本与更新时间；
• 数据采集、隐私和第三方模型调用涉及合规性，因地区而异，需按当地规则评估；
• 免费服务可用性不确定，模型 API 往往另有成本，是否付费以实际页面为准。

常见问题 FAQ

下面几个问题最常被问到，答案只能作为使用前的判断参考，具体仍要看文档和实际页面。

• Midscene.js 是免费的吗？项目本身开源，但调用多模态模型通常需要自备 API，是否产生费用、有无免费额度以实际页面为准。
• 不会写代码能用吗？可以通过 Chrome 插件用自然语言描述步骤，但复杂流程和稳定运行仍要理解基本测试逻辑。
• 支持哪些自动化框架？官方提到 Puppeteer、Playwright 和 YAML 脚本等，具体版本兼容情况以文档和实际页面为准。
• 和传统 UI 自动化有什么区别？传统方案依赖选择器和脚本，Midscene.js 用自然语言加模型理解页面，维护方式不同，稳定性和成本需要权衡。
• 页面数据安全吗？它提供公共或私有部署模式，但涉及页面数据和模型调用时，仍应按团队规范评估。

Midscene.js 的价值在于把自然语言和视觉理解带进 UI 自动化测试，降低起步门槛，也让报告和调试更直观。它的局限同样要提前看清：模型调用成本、执行稳定性和合规边界都不能忽略。把它当作现有测试体系的补充性渠道，结合 Playwright 等合规工具一起使用，会比完全替代传统脚本更稳妥。