{"repo":"GinSing1226/ScreenClaw","free":true,"listed":false,"github":"https://github.com/GinSing1226/ScreenClaw","clone":"git clone https://github.com/GinSing1226/ScreenClaw.git","description":"Record once, replay anytime & screenshots + percentage-coordinate grids: non-blocking Windows desktop RPA / Computer Use for any multimodal LLM. · 录制一次、随时重放：截图叠加百分比坐标网格，让任意多模态大模型读出坐标并操控 Windows 软件，后台无阻塞 RPA / 桌面操控。","language":"Python","stars":48,"topics":["computer-use","rpa","vision-language-model","desktop-automation","record-and-replay","screenshot"],"license":"MIT","category":"ai-agents","readme_excerpt":"ScreenClaw 睇虾 — AI 应用的可视化操作必备伴侣 让任何多模态大模型识别网格坐标，自动化操作任何软件 English Agent Guide Demo Video --- 📖 什么是 ScreenClaw？ ScreenClaw（睇虾）是一款本地运行的\"中间件\"程序，它充当 AI 应用与桌面软件之间的桥梁。 核心创新 ：通过在截图中叠加百分比坐标网格，让任何多模态大模型都能精确识别界面元素位置，无需专门训练 UI 模型。 AI 应用通过 HTTP API 可以： - 📸 截图并绘制坐标网格 — 精确定位界面元素位置 - 🖱️ 注入鼠标键盘操作 — 后台无感控制，不影响用户使用 - 🔄 自动化任何软件 — 即使软件没有 API 或命令行接口 关键特性 ：全程不抢夺用户的物理鼠标和键盘，你可以在看电影、写文档的同时，让 AI 在后台完成自动化任务。 --- ✨ 核心特性 🖥️ 后台无感操作 采用 background 模式，通过 PostMessage/SendMessage 注入事件，不会激活窗口或抢占焦点，用户毫无感知。 📐 百分比坐标网格 - 让任何多模态大模型有了精确定位能力，且识别速度更快 - 基于百分比（0-100）的坐标系统，只要窗口比例不变，适用于任何大小的窗口 - 不同分辨率、不同窗口尺寸都能复用相同的坐标 - 自适应网格密度和数字大小：基于压缩后的图片尺寸，自动生成最合适的密度和数字大小，避免 AI 乱传参数影响读坐标 💻 操作电脑软件 支持自动化操作大部分电脑软件，特别是不提供 API、CLI 等自动化工具的传统桌面软件。 📱 操作手机 支持自动化操作手机模拟器、官方手机助手（各家手机厂商的多屏协同/手机投屏）： - 无需 ADB - 无需 root - 无需虚拟机 - 无需专门 UI 大模型就能操作手机 APP 🖥️ 桌面级截图+操作 - 直接对桌面截图和操作，不绑定进程，可操作桌面图标、任务栏、开始菜单等任何可见内容 - 支持多显示器，每个显示器独立坐标空间，支持跨屏拖拽 - 操作方式与窗口级一致，共用网格绘制和百分比坐标体系 🎬 录制+沉淀场景 - 人工带跑：通过快捷键或托盘菜单启动录制，人工操作，后台自自动捕获每步截图、坐标和操作类型。 - AI沉淀：调用screenclaw技能，给出录制产物文件夹（程序根目录record下），让AI将产物沉淀为场景模板 💎 沉淀复用 - AI操作+AI沉淀：AI自动操作完后，支持将成功的任务流程沉淀为场景模板，下次直接复用。也可以优化历史模板。 - 坐标适配检测：使用模板时，若应用尺寸与模板不符，支持按比例调整坐标，尝试复用 🔒 安全可控 - Token 认证机制 - 禁止访问进程黑名单，避免 AI 访问敏感应用 - Hijack 操作需用户确认 🎮 托管模式 用户主动要求时进入，AI 完全控制电脑，物理输入，无需逐次确认。适合需要持续操作的场景（如中文输入）。通过快捷键 Ctrl+Alt+Z 可随时退出。 🔍 辅助读坐标 - 坐标网格支持展示标记点（marker），方便 AI 预览坐标是否正确后再执行操作 - 裁剪放大接口，对已有截图局部放大，更容易读准坐标 🎛️ 控制工程（Harness Engineering） - 轮数自检 ：每隔若干轮截图操作，通过 API 报错强制 AI 停下来阅读自检文档，重新装载关键上下文，防止长会话中指令遗忘 - 自检入参校验 ：AI 需要输入满足最低字符数、包含用户配置关键词的内容才能通过自检，服务端对自检","default_branch":null,"files":null,"tree":[],"storefront":"/r/GinSing1226","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/GinSing1226/ScreenClaw/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}