Open-AutoGLM 自动化你的手机操作
开源手机智能助理Open-AutoGLM，通过视觉模型与ADB，用自然语言指令自动化操作安卓应用，提升效率。
你是否曾因在手机上重复执行繁琐的点击、滑动和输入操作而感到疲惫？无论是每日的应用签到、复杂的购物比价，还是跨应用的信息收集，手动操作不仅耗时，也容易出错。现在，一个名为 Open-AutoGLM 的开源项目为这一痛点提供了智能化的解决方案。它能够理解你的自然语言指令，并像一位真正的数字助理一样，自动操控你的安卓设备完成任务。
项目核心：视觉理解与自动化执行的融合
Open-AutoGLM 是一个基于 AutoGLM 理念构建的开源手机智能助理框架。其核心能力在于将先进的 视觉语言模型 与标准的 Android 调试桥 技术相结合。简单来说，它首先通过截图“看到”手机屏幕上的内容，利用大模型理解界面元素（如按钮、输入框、文本）及其上下文；然后，根据用户下达的自然语言指令（例如“打开淘宝搜索无线耳机”），智能规划出一系列操作步骤；最后，通过 ADB 自动执行点击、输入、滑动等操作，精准完成任务。
这个过程并非简单的脚本回放，而是包含了 AI 的“思考”环节。项目支持单步调试模式，你可以清晰地观察到 AI 对屏幕的分析结果、下一步的行动规划以及最终的执行动作，这使得整个自动化过程透明且可控。无论是打开应用、输入搜索关键词、浏览商品列表，还是处理登录界面和图形验证码等复杂交互，Open-AutoGLM 都能尝试理解并自动化执行。
广泛的应用兼容性与便捷的连接方式
该框架针对中文移动生态进行了深度优化，目前已支持微信、淘宝、京东、美团、小红书等超过 50 款主流中文应用，涵盖了社交、购物、生活服务等多个领域。在连接方式上，它提供了极大的灵活性。除了传统的有线 USB 连接，Open-AutoGLM 更支持通过 WiFi 进行远程 ADB 调试。这意味着你无需将设备与电脑物理连接，即可实现远程控制，为自动化任务的部署和管理带来了更多便利。
丰富的功能特性与多元的应用场景
Open-AutoGLM 集成了多项实用功能以保障自动化任务的可靠性与安全性。其 多模态屏幕内容理解 能力能够精准识别界面中的交互元素。基于 自然语言的智能任务规划 引擎，可以将模糊的用户指令转化为具体的操作序列。框架还内置了 敏感操作自动确认和人工接管机制，在遇到支付、删除等高风险操作时，可以暂停并请求用户确认，平衡了自动化效率与操作安全。此外，项目支持 远程 ADB 设备管理，并兼容多种模型部署方式，用户既可以使用第三方大模型 API 服务，也可以在本地部署模型，以满足不同的隐私和性能需求。
这些特性使得 Open-AutoGLM 适用于多种场景：开发者可以将其用于 自动化测试，快速验证应用流程；普通用户能将其打造为个人 智能助理，处理日常重复性手机任务；它也能为 无障碍操作 提供新的思路，帮助行动不便的用户通过语音或文本指令控制手机。
快速开始体验
项目的入门门槛相对较低。用户只需在电脑上安装 Python 环境及相关依赖，配置好 ADB 连接（有线或无线），并根据文档说明获取或配置大模型访问权限（如 OpenAI GPT-4V， Google Gemini， 智谱 GLM 等支持视觉理解的模型），即可快速运行示例，亲身体验用自然语言指令操控手机的便捷与高效。通过将复杂操作简化为一句指令，Open-AutoGLM 正致力于重新定义我们与移动设备的交互方式，开启手机自动化的新篇章。
