✨ v0.1.0 — AI Agent操控桌面，不截图不OCR不坐标

[Glittering]

semantic-ui-bridge v0.1.0 发布

让 AI Agent 通过操作系统内建的 Accessibility API 结构化读取桌面 UI —— 不需要截图、OCR、像素坐标。

核心能力

• macOS 桌面app UI树：备忘录285元素、访达283元素，纯 API 读取
• Safari 一键导航：SUB.safari_go("https://news.sina.com.cn/") → 成功
• 网页正文提取：新浪606条链接、新华网348条链接
• 菜单操作：SUB.menu_action("Safari", ["文件", "新建窗口"])
• 文件浏览：SUB.ls("~/Documents/")

79 测试通过。MIT License。

安装

pip install semantic-ui-bridge[macos]
playwright install chromium

局限（诚实）

游戏/PS画布不走 AX，Windows/Linux adapter 待开发。

讨论

欢迎试用、提 Issue、贡献 PR 🚀