coze-studio
Coze Studio 是由字节跳动开发并开源的一站式 AI Agent 开发工具,旨在为开发者提供从开发到部署的全方位支持,帮助他们快速构建和调试智能体、应用和工作流 。
DroidRun 是一个开源框架,核心思路是让大语言模型代理去操作 Android 设备:你用自然语言下指令,它负责把指令翻译成点击、滑动、输入这类具体动作。它结合了截图识别和界面结构提取两种方式来判断屏幕上的元素,定位比单靠一种手段更稳一些。这篇文章面向开发者、做移动端自动化测试的人,以及想搞清楚”AI 直接操作手机”到底走到哪一步的读者,梳理一下它的能力边界和上手成本。
从项目文档和仓库信息来看,DroidRun 的流程大致是:在电脑上装好运行环境,连上 Android 设备,配置一个模型服务,然后用自然语言下达指令。它一边截图、一边读取 UI 控件树,把画面和结构信息合起来判断下一步该点哪里。这个双通道设计是它比较实在的地方——纯截图容易认错位置,纯读控件树又经常看不懂自定义控件,两种信息互补,容错空间会大一点。
整体看,它并不是装上就能用的消费级工具,更像一套给开发者准备的脚手架。官方提供了命令行界面和 Python API 两个入口,单条指令走 CLI 就够了,重复流程多半要落成脚本。
几点上手前值得留意的:
DroidRun 的价值在于把”用自然语言指挥手机”这件事做成了可以复用的开源框架,模型可换、接口开放,适合拿来做实验和自我验证。局限也摆在那儿:环境搭建和指令调试都要花时间,稳定性受设备、模型和界面复杂度影响。更合适的定位是补充性渠道,配合既有的测试流程和合规工具一起用,而不是指望它一步到位替代人工。