Oddbean new post about | logout
 教程:让ChatGPT完全控制你的电脑  

它像人类用户一样使用鼠标和键盘,自主进行操作

博主@MatthewBerman 使用了前几天另外一位博主@josh_bickett 开发的Self-Operating Computer(自动化计算机框架) 进行了这项测试。

该框架利用GPT 4V,让AI看着电脑屏幕,然后自主使用鼠标和键盘来完成任务。

这个框架设计得可以和不同的AI模型一起工作,目前已经可以和GPT-4v这样的模型集成。

目前,这个AI模型在估计鼠标点击的具体位置时还不够准确。项目团队正在开发一个新的AI模型(Agent-1-Vision),这个模型在预测鼠标点击位置方面会更准确。

感兴趣的可以去试试,视频中也有详细教程!

Self-Operating Computer:https://t.co/2TDdO6Y84P

视频来源:https://t.co/AUumtyAdKn https://video.twimg.com/ext_tw_video/1730517819236966400/pu/vid/avc1/1920x1080/EHVH66rJuCqIXKyb.mp4?tag=14