Anthropic 发布了一个 AI 工具，可用于控制用户的鼠标光标去执行基本任务。该工具被直截了当的命名为 Computer Use，通过 API 与 3.5 Sonnet 大模型一起使用，能像人类一样——查看屏幕、移动光标、单击按钮和键入文本——去完成计算机上的任务。Computer Use 是通过快速连续截屏去执行操作，它要求用户授权其软件必要的访问权限，查看屏幕截图，计算移动光标到正确位置所需的垂直或水平像素数，它无法执行拖放之类常见鼠标操作。Anthropic 表示该工具有很多限制，容易出错，比如没有完成编程任务就去浏览黄石公园的照片。

https://arstechnica.com/ai/2024/10/anthropic-publicly-releases-ai-tool-that-can-take-over-the-users-mouse-cursor/
https://www.anthropic.com/news/3-5-models-and-computer-use