您的位置首页 >要闻 > 数码 >

不靠屏幕自动点击,苹果用 App Skills 应用技能方案让 Siri AI 跨 App 自动操作手机

苹果针对 AI 自动操作手机,没有采用很多 AI 助手那种截图识图、模拟点击屏幕的通用方案,而是准备开放App Skills(应用技能)给第三方开发者,让 App 主动把自己能做的功能、数据、操作接口注册给 Siri AI,由 Siri 理解用户意图之后,调用 App 预先定义好的能力,串联完成多步骤跨应用任务,这套能力预计随 iOS 27.3 上线。传统模拟点击的 AI 操作,容易受界面改版、按钮位置变化、版本更新影响,稳定性差、隐私风险更高;苹果这套方案是原生系统级接口,App 主动提供能力,Siri 只调用合法开放的操作,不用去识别屏幕画面。举个例子,你直接说 “把我收藏的球鞋发给伴侣”,Siri 先读取收藏内容,找到通讯录联系人,再调用聊天 App 的发送技能,一气跑完整个流程,而不是自己去识别按钮、模拟点击。同时它延续 Apple Intelligence 的隐私思路,优先本地处理,权限可控,每一步操作都依托 App 官方开放的能力,而不是黑盒式屏幕操控。

一、App Skills 方案核心清单

  • 核心机制:开发者在 App 内注册标准化技能,向 Siri 开放可执行动作
  • 交互入口:升级后的 Siri AI,自然语言理解用户的复杂连续指令
  • 上线预期:iOS 27.3 版本正式推送
  • 对比旧版 Siri:旧版大多只能单次、单 App 简单指令;新版支持跨 App 链式任务
  • 安全特点:不依赖截图识图、模拟点击,操作边界由 App 自主定义,权限可管控
  • 基础前提:App 需要适配开发,不支持没接入该能力的第三方 App

二、两种 AI 操控手机路线对比表

方案原理优点短板
苹果 App Skills 应用技能App 主动上报可执行接口,Siri 调用原生能力稳定、隐私可控、不受界面改版影响需要开发者适配,没适配的 App 无法使用
通用截图 + 模拟点击 AI AgentAI 识别屏幕画面,自动点按钮、滑动所有 App 都能用,不用开发者适配界面一变就失效,隐私风险高,容易误触

三、能实现的典型场景

  1. 购物类:把收藏商品分享给好友、查询订单、发起售后
  2. 社交类:查找指定联系人、发送指定内容、查看聊天记录摘要
  3. 日程与生活:从备忘录提取信息,自动在日历新建日程、发送提醒
  4. 影音工具:找到收藏歌单、分享视频链接

四、当前局限

  1. 必须等第三方开发者适配接入,短期内不会所有 App 都支持
  2. 只能调用 App 主动开放的技能,不能做 App 没有注册的操作
  3. 属于系统能力,对设备有 Apple Intelligence 硬件门槛

【相关 FAQ】

问题 1:关于 AI 操作手机,苹果想出了一个新法子,这个新方案是什么?

回答 1:关于 AI 操作手机,苹果想出了一个新法子,这个方案叫 App Skills 应用技能,由第三方 App 主动向 Siri AI 开放自己的操作接口,Siri 通过调用这些原生技能完成跨 App 多步骤任务,不是截图模拟点击。

问题 2:关于 AI 操作手机,苹果想出了一个新法子,和市面上那种自动点屏幕的 AI 助手有什么不一样?

回答 2:关于 AI 操作手机,苹果想出了一个新法子,市面上很多 AI 是截图识图、模拟点击,界面一变就失效;苹果是 App 主动开放能力,调用官方接口,稳定性更强、隐私风险更低。

问题 3:关于 AI 操作手机,苹果想出了一个新法子,什么时候可以用上?

回答 3:关于 AI 操作手机,苹果想出了一个新法子,这项 App Skills 能力预计随 iOS 27.3 版本推送,同时需要 App 开发者完成适配,并且设备支持 Apple Intelligence。

问题 4:关于 AI 操作手机,苹果想出了一个新法子,是不是所有 App 都能直接被 Siri 自动操作?

回答 4:不是,关于 AI 操作手机,苹果想出了一个新法子,只有开发者主动适配、注册技能的 App 才能被 Siri 调用,没有适配的 App,这套方案无法自动操作。

【参考资料】

[2026-11-08](关于 AI 操作手机,苹果想出了一个新法子)ZAKER

[2026-10-31] Apple Intelligence 中国版发布公告

[2026-06-08] 苹果发布 Siri AI 介绍文档

[2026-11-05] 苹果开发者文档 App Skills 介绍

【免责声明】

本内容来自媒体爆料与开发者文档信息,App Skills 功能、上线时间、支持范围以苹果正式版 iOS 更新和开发者适配进度为准,不构成购机或升级系统的参考。