有开发者放出测试视频,直接用 GPT 大模型下发指令控制机械臂执行任务,测试过程里出现了很危险的动作,机械臂拿着菜刀悬在人的手掌上方,还按照指令把手机丢进水里,这个测试不是产品故障,而是直观展示大模型直接驱动机械臂时的安全漏洞,GPT 本身是文本大模型,没有原生的空间感知、风险判断能力,它只会顺着文字指令去执行,分不清哪些动作会伤人、哪些物品不能损毁,哪怕指令存在明显危险,也会直接传递给机械臂执行。这类具身智能测试里,大模型只负责理解文字任务,机械臂缺少独立的安全校验、障碍物识别、风险阻断机制,没有中间安全层做拦截,一旦模型理解偏差、指令模糊,就很容易触发危险操作,这个视频也让行业再次讨论:大模型不能直接裸连机械臂,必须叠加安全防护模块、视觉避障、危险动作阻断规则。
本次测试出现的危险动作与问题清单
- 危险动作 1:GPT 下发指令,机械臂夹持菜刀悬停在人手上方,存在割伤风险
- 危险动作 2:接收文字指令,机械臂直接抓取手机丢进水中,造成设备损坏
- 核心根源:GPT 文本模型没有物理世界风险认知,只解读文字,不评估后果
- 缺失环节:缺少独立安全校验层、视觉风险识别、危险动作熔断机制
- 测试目的:展示裸连接模式下 GPT 控制机械臂的安全缺陷,不是成熟可用方案
这件事带来的行业启示
- 对开发者:单纯把 GPT 和机械臂直连非常危险,文本大模型不能直接当安全控制器,必须加一层安全中间件做风险过滤
- 对具身智能赛道:模型泛化能力、物理常识、风险判断是独立课题,和语言理解能力不是一回事
- 对普通用户:目前网上这类 GPT 控制机械臂大多是实验 Demo,远没有达到家用安全标准,不要自行复刻
【相关 FAQ】
问题 1:GPT 控制机械臂的危险演示里,为什么会出现菜刀悬在人手上方这种操作?
回答 1:GPT 控制机械臂时,GPT 只是文本大模型,没有物理风险判断能力,在没有安全拦截层的情况下,它只会解析文字指令,不会识别菜刀靠近人手是危险行为。
问题 2:GPT 控制机械臂把手机丢进水里,是 GPT 故意要破坏物品吗?
回答 2:不是,GPT 控制机械臂收到对应的文字指令,只理解指令字面意思,无法判断手机进水会损坏,缺少物理世界常识和风险约束,才会执行该动作。
问题 3:想要避免 GPT 控制机械臂出现这类危险,需要增加什么防护?
回答 3:想要避免 GPT 控制机械臂出现这类危险,需要增加独立安全中间层、视觉避障识别、危险动作熔断规则,不能让大模型直接裸连机械臂执行动作。
问题 4:这个 GPT 控制机械臂的视频,是不是已经可以拿来家用?
回答 4:这个 GPT 控制机械臂的内容属于实验 Demo,安全机制缺失,风险很高,完全不具备家用条件,不能直接拿来日常使用。
【参考资料】
[2026-11-17](GPT 控制机械臂演示危险操作:菜刀悬人手、手机丢水里)IT 之家
[2026-11-17](裸连大模型有多危险?机械臂听从指令执行高危动作)36 氪
[2026-11-16](Large language model directly controlling robot arm shows safety risks)TechCrunch
[2026-11-16](具身智能安全讨论:大模型和机器人之间必须加安全网关)机器之心
[2026-11-16](GPT 驱动机械臂实验引发热议,AI 缺少物理风险判断力)新浪科技
【免责声明】
本文信息来自网络实验视频、科技媒体报道整理,不建议复刻该 GPT 控制机械臂的危险实验;大模型驱动机械臂的安全方案仍在研发阶段,相关技术落地、安全标准以官方机构和厂商规范为准。
本文来自作者[频簇中转员]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/3625.html
评论列表(4条)
我是江南网的签约作者“频簇中转员”!
希望本篇文章《GPT 控制机械臂风险演示菜刀悬人手上方、把手机丢入水,凸显安全隐患》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:有开发者放出测试视频,直接用 GPT 大模型下发指令控制机械臂执行任务,测试过程里出现了很危险的动作,机械臂拿着菜刀悬在人的手掌上方