当前位置:首页 > 新闻资讯 > 正文内容

多款AI手机智能体调用“读屏+模拟点击”功能

七夏5小时前新闻资讯30





5款AI手机智能体场景实测结果。 制图/南都记者 黄莉玲


DeepSeek热潮之下,近期各大手机厂商纷纷宣布将DeepSeek-R1大模型接入手机中,AI手机智能体迎来进一步升级。

理想状态下,只要你说句话,AI智能体将“接管”你的手机,自动替你打开淘宝、携程等一众App,也能帮你与微信好友互动,还能实现点咖啡、订票等操作。但AI手机变身“贴心助理”的前提是“更懂你”,这意味着用户需要让渡更多的个人隐私数据才能换取便捷的服务。而你,愿意交出手机里的秘密吗?

AI手机“丝滑”点咖啡背后,究竟拿走了多少个人信息?获取个人信息的过程是否透明?用户能否清楚知道授权了哪些信息?为此,南都数字经济治理研究中心选取了市面上5款热门的国产AI手机,从隐私政策文本、应用权限调用与技术观测等方面进行实测。

结果发现,AI手机并没有手机厂商标榜的那么“聪明”,目前只能实现特定场景的简单操作。但需要用户交出的数据远多于想象,部分手机厂商还调用了无障碍服务、一键识屏、模拟点击等高敏感权限,这使得用户手机屏幕上的所有内容都有可能被读取——包括文字、图片、聊天记录、交易信息等。

如何平衡技术创新与隐私安全的关系,将是AI手机智能体发展的关键,也是各大手机厂商的一道必答题。诚如荣耀前CEO赵明所言,“没有数据保护和隐私安全的AI毫无价值,这是底线。”

  多场景实测 AI手机是真智能还是真智障?

根据Canalys预测,到2028年,全球智能手机市场中将有54%的出货量是AI手机,这一比例在2024年仅有16%。随着AI手机的普及,AI智能体将成为用户与手机的新交互入口,为其提供更个性化和便捷的服务。

那么,当前AI手机到底有多智能、多聪明?

日前,南都数字经济治理研究中心选取了5款AI手机:华为Mate 70、小米15、OPPO FindX8、vivo X200和荣耀Magic 7,实测点咖啡、发消息、发红包和订酒店等多个场景。当唤起手机里的AI助手并发出相应指令后,用户的手机屏幕控制权发生了转移——AI开始自动点击、滑屏、跳转至相关页面,有的一顿操作行云流水,有的则屡屡“卡壳”犯迷糊。

测评结果显示,能自主完成点咖啡任务的,仅有荣耀、vivo,且后者只支持跳转瑞幸咖啡的微信小程序下单;能给微信好友发消息和打电话的,有荣耀、华为、vivo、OPPO;可以向微信好友发送红包的,包括华为、vivo、OPPO;没有一家掌握在OTA平台上订机票的技能,最多只能打开指定航班的预订页面。这些测试场景涉及支付的环节,均需人为手动操作。

以发红包场景为例,当提出“在微信里帮我发一个红包”的要求后,OPPO小布助手、华为小艺助手、vivo蓝心小V均能够找到指定微信好友,进入微信红包页面并完成红包填写,支付时则需要用户自行输入密码。

而在指定发送支付宝红包时,上述三家AI智能体成功率有所下降,只有vivo蓝心小V可以成功抵达红包支付界面。OPPO小布助手只能打开到指定好友聊天界面,华为小艺助手仅能打开支付宝界面,均无法自动操作到支付页面。

荣耀YOYO助理和小米超级小爱助手,则无法完成发红包指令。

值得一提的是,如果在点咖啡和订机酒实测直接指定某款App,AI智能体大多都会回复无法启动相应App,在不指定的情况下反而顺利打开。

同时测评还发现,AI手机助手有时也会“卡壳”。以成功率最高的发微信消息场景为例,虽然4款AI手机助手最终都能完成这项任务,但执行过程并非一帆风顺,有的AI助手会反馈“需要准备一下,稍后再试试”。

从整体来看,各家手机厂商的AI助手在不同场景下表现各有优劣,但均算不上“聪明”。在执行具体任务时,很多时候都需要用户等待数秒,而且还经常“犯傻”出错。

权限调用 部分采用一揽子授权 默认开启录音、电话等权限

为了让手机顺畅自如地完成任务,AI助手调用了哪些权限?有业内人士透露,终端AI智能体在配置文件中声明调用的权限数量有100多项,包括多个普通开发者无法使用的签名级别权限。实测发现,仅从用户端查看AI手机助手调用的权限数量,难以得到一个准确的数字。一个原因在于,用户通过不同渠道获悉的权限数量不一。

比如,在各个手机厂商自带的应用商店里搜索相应AI助手发现,华为小艺助手(也叫智慧语音)、小米超级小爱助手均显示获取了27个隐私敏感权限,OPPO小布助手列出19项隐私敏感权限和28项常规权限。

但在应用“权限管理”首页,各家AI手机助手显示的权限数量在10-13个,通常包括位置、电话、通讯录、通讯记录、麦克风、相机、信息、日历、附近的设备、读取应用列表、管理所有文件等。再点击“查看所有权限”,页面显示AI手机助手还调用了其他权限,各家数量不一,有的多达55个。

随着提供服务类型的增多,不难理解,AI手机助手调用的权限数量将会更多。此外测评发现,AI智能体调用权限的方式不尽相同。

当把5部测试手机均恢复出厂设置后,荣耀、华为、小米、vivo会在进入系统前,让用户分别选择启用YOYO助理、智慧语音、超级小爱、蓝心小V,并提供隐私政策和权限使用说明,让用户了解个人信息处理详情。不过为快速使用AI手机,大多数人通常会直接选择同意,这也意味着用户可能无法清晰地知道自己究竟交出了何种个人信息。

完成上述的确认动作后,各家应用内显示的调用权限方式不同。华为和vivo的AI助手会根据场景让用户单独授权,荣耀和小米则是默认开启了多项权限。

具体而言,进入小米系统后,打开超级小爱助手的应用权限管理,页面显示将调用13项权限,包括读写收集存储权限、相机权限、录音权限等,其中8项显示已默认开启。

YOYO助理也存在类似情况。要了解它的权限管理功能,相对繁琐,入口也较为隐蔽。在YOYO助理应用内,用户无法直接查看和关闭相应权限,而是需前往设置、点击应用进入应用管理页面、在右上角选择“显示系统程序”,才可找到。页面显示,除了照片和视频、音乐和音频,YOYO助理已开启了包括位置、麦克风、通讯录等多项权限。

测评还发现,部分AI手机智能体调用权限的透明度仍有待提升。

据南都数字经济治理研究中心了解,用户通过点击“设置”,进入相关的隐私功能,可查看所有应用的权限使用记录。有的系统厂商还会按照时间线,统计手机里的App在什么时段调用权限的频次。

实测发现,仅有vivo披露了蓝心小V的权限调用情况。在蓝心小V的应用记录详情页面,统计了访问联系人、位置信息、录音等权限的频次与时间。

其余4款AI手机,均无法查看系统自带的AI助手调用权限的记录。值得一提的是小米手机,超级小爱披露的是它调用第三方App的情况,而非自身权限使用访问记录。

从实测结果看,仅从用户端查看的方式,并不能完全掌握5款AI助手的个人信息收集行为。那么从技术的层面,是否有办法探究?

在实测中,多位技术专家向南都记者表示,5款AI手机助手出自5家手机厂商,所对应的操作系统各异。如果系统层面无法给予技术支撑,要从第三方检测出这些AI智能体实际获取的权限数量、读取频率、在启动和静默等场景下的权限调用情况,存在较大的技术难度,且需花费很长时间。

也就是说,要想获悉AI手机助手的全部隐私访问行为,只能先依赖系统自带的权限使用功能,但大多数并未充分告知。即便像vivo提供了蓝心小V的权限调用记录——在没有第三方检测的辅助验证情况下,这些数据是否具备足够的可信度,也存在疑问。

如此一来,要确认AI手机助手究竟读取了用户的哪些隐私信息,似乎成了一笔“糊涂账”。

隐私风险 AI手机智能体在运行中 还会调用一些特殊敏感权限

事实上,AI手机智能体在运行中,还会调用到一些特殊的敏感权限。

南都数字经济治理研究中心在实测中关注到,在小米超级小爱助手的隐私设置里,罗列了多项功能授权,其中包括可代替手动操作App的模拟点击、屏幕内容获取。

用户同意授权后,将允许蓝心小V查看和控制屏幕权限、查看和执行操作,让其“代表用户与应用互动”。

这意味着,一旦用户授权“一键识屏”权限,AI手机智能体将自动掌控你的屏幕,代替你执行相关的交互操作,随之而来的隐私风险尤其值得关注。

进一步查看各家的隐私政策,部分AI手机厂商进一步说明了调用这些权限将收集的个人信息情况。

小米《超级小爱隐私政策》表示,“为将您的语音指令模拟成您的实际操作,我们需要收集您的界面文本、控件、图像的位置进行模拟点击操作……用户需要开启语音助手的辅助功能权限,用以辅助获取用户输入的信息以及屏幕上的内容。”

由此可见,AI手机在开启语音助手的场景下,调用读屏功能是为了收集用户手机上的界面文本、图片内容等信息,进一步实现模拟点击的自动化操作。而这便是AI“接管”用户手机,实现“自动驾驶”的关键所在。

知名网络安全专家、赛博昆仑CEO郑文彬告诉南都记者,AI手机自动点咖啡的本质是,AI助手接受用户指令,通过大模型进行语义理解,再结合一些预设的脚本路径,知道在哪里可以打开外卖软件,哪里可以点咖啡,然后实现自动化操作——比如通过模拟点击、屏幕内容识别等。

这也就意味着,在“读屏+模拟点击”这一技术路线下,AI手机智能体可以记录你手机屏幕上的各种数据,包括电话、地址、联系方式等个人隐私。由此延伸的问题是,这些数据是在端侧分析,还是可能上传云端?上云后,如何做好数据隔离与保护?这需要手机厂商进一步明示与说明。

焦点

  荣耀YOYO助理自动开启无障碍权限

在权限测评中,南都数字经济治理研究中心还注意到了一项高敏感的权限,同样具有“读屏+模拟点击”的功能。

当点击设置、选择“辅助功能”后,即可进入“无障碍”开启页面。实测发现,用户授权这一权限时,各家系统都会出现单独的安全提醒,明示“授予应用该权限,您的隐私信息可能泄露,财产安全将受到威胁。”有的手机厂商还会通过双重确认的方式增强告知:既要求用户手动勾选“知晓上述风险,并自愿承担后果”,也要求点击是否开启,以此获取用户的明确授权。

北京汉华飞天信安科技有限公司总经理彭根告诉南都记者,无障碍权限的设计之初,是为了方便残障人士使用。开启后,它能帮助用户读取屏幕上展示的所有信息,还可模拟人的操作去点击各项按钮。“比如,为了帮你发微信红包,那么AI智能体肯定要点击进入对应的聊天对话框,此时它理论上就知道你和好友的聊天记录了。”

需要关注的是,近年来无障碍服务愈发有被滥用的趋势,如被用来关闭App弹窗广告、自动抢红包、静默安装恶意软件、窃取用户隐私数据、防止软件被卸载等。

那么,到底哪些App会使用这一高敏感权限?测评发现,在5款AI手机无障碍页面的“已安装的服务”列表中,均不包括本次测评的5款AI智能助手。

不过,与手机厂商端侧AI相关的个别功能显示在列。比如,小米的“小米澎湃AI引擎”,页面显示开启该辅助权限后,“将根据您的指令查看和控制屏幕、操作应用等,节省输入时间和操作步骤”。

实测发现,荣耀手机的YOYO助理也会调用无障碍权限。在点咖啡和给微信好友发送文件的场景中,与荣耀AI功能密切相关的“情景感知”功能,会在后台自动调用开启系统的无障碍权限,待任务结束后,无障碍权限自动关闭。

测评还发现,如果人为中断YOYO助理的任务执行,“情景感知”功能调用的无障碍权限并不会关闭,而是一直保持开启状态。

值得一提的是,在测评之后,南都数字经济治理研究中心对此进一步复核发现,上述问题在荣耀手机更新后的系统(版本号90.0.1.359)已修复。

根据《关于荣耀AI·基础服务与隐私的声明》,荣耀表示为了准确获取应用使用信息,“会动态借助系统的无障碍功能来分析应用使用情况。”同时承诺这些信息仅在设备本地处理,不会上传至服务器。

也就是说,在用户没有明确授权的情况下,YOYO助理自行开启了无障碍权限。而在缺乏明确授权告知的情况下,用户可能难以意识到潜在的风险。

有技术专家对南都记者表示,无障碍服务属于高敏感权限,App一旦开启就可以控制你的手机。他还提到,使用无障碍权限的App,可以要求系统在找到某个界面元素之后把控制权交给它,此时面临的隐私问题有限,但如果它尝试遍历界面的所有元素,那么用户手机页面上所有信息将一览无余。

在上述技术专家看来,相比系统厂商,第三方App调用无障碍权限的安全风险更大,因为系统厂商已经拥有手机的最高权限了,“如果想‘作恶’,倒不至于依赖无障碍权限。”

但他同时认为,系统厂商此举面临“既当裁判又当球员”的质疑——App权限使用规则由“裁判”系统厂商制定,但它自己又去“踢球”,开发了AI助手等工具,并调用无障碍来实现智能化操作。如果用户未被充分告知,无法意识到其中的安全风险,个人隐私可能就没了。

忧虑

  AI手机“自动驾驶”的隐私担忧

本次测评中,南都数字经济治理研究中心还查看5款AI智能体的退出路径,一般通过三到四个步骤可找到关闭服务的按键。

以蓝心小V为例,它在应用内提供了“一键关闭”选项;用户确认关闭后,被告知将无法使用蓝心小V提供的文字、图片等生成式服务。

小米和OPPO关闭AI智能体的路径,则是在设置页面的隐私功能中。两家均是通过撤回隐私政策同意的方式让用户选择是否退出AI助手服务,小米超级小爱助手还另外提供了注销的功能。

华为和荣耀关闭AI智能体的入口,需点击设置进入关于页面。YOYO助理的页面显示,除非有其他法律依据,否则使用YOYO助理服务处理的所有数据都将被删除。华为小艺助手的退出路径与之类似,但多提供了“停止并清除云上数据”的功能。

值得一提的是,南都数字经济治理研究中心还在技术专家的帮助下,对5款AI助手的数据上云情况做了技术检测。

同一场景中,当发出“帮我点咖啡”的语音指令后,有两款AI手机助手访问了AI供应商的云服务器,过程中上传了少量的数据,其余的则在本地处理。同时,各家均具备较强的数据联网加密功能,其中“蓝心小V”还使用了数字证书锁定,以增强数据传输的保密性。

“可见,手机厂商在数据保护方面是下了功夫。”郑文彬告诉南都记者,AI智能体在端侧运行操作,数据在本地处理肯定比较安全,用户也会更放心。如果数据传到云端,离开本地环境则有潜在风险。“这些数据都经过加密处理,其中涉及个人隐私数据也会受到相应的保护。”

但是没有绝对的安全。南都数字经济治理研究中心观察发现,这两年在大模型的加持下,AI成为终端厂商的一个新卖点,而隐私保护是个绕不开的话题。

去年5月,微软发布“Copilot+PC”,号称有史以来最快、最智能的Windows电脑,但被行业人士批评为“隐私噩梦”。原因在于,这款新品主打的一个卖点是“Recall”(召回)功能,它可通过连续屏幕截图和AI整理为时间线的方式,默认记录用户在电脑中的所有操作,以帮助查找任何内容。

为打消外界的隐私质疑,去年11月微软在新版Recall功能内置了“敏感信息过滤”的默认设置,旨在避免记录如信用卡号码、社会安全号码等高度敏感的个人数据。但有测试者发现,在记事本手动输入信用卡信息,Recall功能仍将它们完整地捕捉了下来。

和微软一样,AI手机厂商借助“读屏+模拟点击”的方式来实现智能化操作,同样绕不开隐私保护的问题。在郑文彬看来,到底AI手机智能体拿走了什么样的数据,用户的数据会被作何处理,被收集的数据能否撤回删除?这些应该有更透明的告知方式,大模型的透明度也待进一步提升,如此才能更好地帮助用户抉择是否使用AI手机。

“当AI手机智能体无法带来明确收益和显著效率提升时,用户是否应承担潜在的隐私风险需要审慎考虑。”他说。

出品:南都数字经济治理研究中心

测评:南都记者 李玲 杨柳 樊文扬 吕虹 黄莉玲

采写:南都记者 李玲 樊文扬 黄莉玲

扫描二维码推送至手机访问。

版权声明:本文由0538资讯网整理发布,内容均来自互联网,如有侵权联系8641340@qq.com删除。

本文链接:https://www.0538ta.cn/post/92071.html

分享给朋友:

“多款AI手机智能体调用“读屏+模拟点击”功能” 的相关文章

美诚月饼广告及包装现米其林主厨谭绮文 其所在餐厅:仍在任职,已不再与厂家合作

美诚月饼广告及包装现米其林主厨谭绮文 其所在餐厅:仍在任职,已不再与厂家合作

近日,名为“美诚月饼”的产品在“疯狂小杨哥”等直播间被宣传为“香港品牌”,引发网络关注。短视频平台显示,该款月饼近30天销售额已超过5000万元。有网友注意到,该款月饼包装及广告上出现两名“国际米其林星级大师”“黑珍珠黑钻大厨”手持月饼的形象。“美诚月饼”网...

开平公安民警接力寻找31年,帮助失散家庭团圆

开平公安民警接力寻找31年,帮助失散家庭团圆

南都讯 记者曾育军 通讯员吕炎强 林艳 “儿啊,终于找到你了!这么多年你去哪儿了?妈妈找你找得好苦啊……”9月4日上午,广东江门开平市公安局举办了一场温馨感人的“团圆·续缘”认亲仪式,王先生和钟女士终于见到了日思夜想的儿子林小飞(化名,即“阿念”)。此刻,...

投资1.8亿元,湖北明瑜药业落户安陆洑水

投资1.8亿元,湖北明瑜药业落户安陆洑水

极目新闻记者 陈勇通讯员 刘诗剑 潘定山项目效果图2024年9月18日,湖北明瑜药业项目正式开工建设,该项目总投资1.8亿元,占地46.04亩,落户孝感安陆市洑水镇工业园,主要生产金银花露、米酒、葡萄糖饮品、汽水等产品。该项目落户开工,是洑水镇大力推进招商引...

广中医“思政第一课”开讲 党委书记勉励新生传承中医药事业

广中医“思政第一课”开讲 党委书记勉励新生传承中医药事业

南都讯 记者孙小鹏 通讯员廖晓键 黄文珊 “希望同学们赓续百年荣光,强化使命担当,从百年校史中汲取前进的智慧和力量,奋力书写为中国式现代化挺膺担当的青春篇章!”9月19日,广州中医药大学党委书记陈文锋向2024级新生讲授了题为《赓续百年荣光,强化使命担当,在...

讲述京剧入川感人故事,新编京剧《新声》将在成都首演

讲述京剧入川感人故事,新编京剧《新声》将在成都首演

9月19日,新编京剧《新声》剧目发布会在成都市京剧研究院新声剧场举行。这部以“京戏入川、文艺抗战、爱情绝唱、京腔蜀韵”为主题的京剧新作,由成都市京剧研究院倾力打造,胡筱坪、徐亚执导,王爰飞、潘乃奇共同编剧,刘洁、张辉领衔主演,将于9月29日至10月2日与观众...

为筹赌资谎称可办理套现业务,男子诈骗多人被抓

为筹赌资谎称可办理套现业务,男子诈骗多人被抓

极目新闻记者 周萍英通讯员 尹鹏飛 罗冰洁典当行业主朱某因沉迷网络赌博,输光了积蓄。为筹集赌资,谎称自己能够办理套现业务,对他人实施诈骗。9月16日,朱某被湖北襄阳东津公安抓获。民警抓获犯罪嫌疑人朱某(通讯员供图)7月24日,东津居民周女士来到六两河派出所报...

沈白高铁吉林段TJ-6标提速道岔铺设施工告捷

沈白高铁吉林段TJ-6标提速道岔铺设施工告捷

9月16日,随着湾沟北站站场6#提速道岔混凝土浇筑模板的拆除,由中铁二十三局集团承建的沈白高铁吉林段TJ-6标提速道岔铺设全部完成,为正线铺轨创造了条件。据悉,高速铁路无砟轨道道岔是实现机车车辆转线运行的轨道设备,是影响列车速度和行车安全的关键设备之一,具有...

全国“检验检测云课堂”正式上线运行

全国“检验检测云课堂”正式上线运行

极目新闻记者 张秀娟通讯员 郭姗姗9月19日,全国“检验检测云课堂”正式上线运行。产业振兴,关键靠人。数据显示,近年来,我国检验检测行业发展取得显著成就,截至2023年底,全国共有各类检验检测机构53834家,年营收4600多亿元,约占全球市场的1/4。20...

广东电动自行车以旧换新 一次性补贴500元

广东电动自行车以旧换新 一次性补贴500元

  截至2023年年底,广东电动自行车社会保有量约为3000万辆。南都资料图  广东省电动自行车“以旧换新”补贴标准来了:交回老旧电动自行车(含电池),购买销售价格在1500元及以上的新车,一次性补贴500元。  9月19日,广东省电动车商会举办广东省电动自...

银盛支付POS机涉嫌超额扣费?

银盛支付POS机涉嫌超额扣费?

  杨女士与代理商的聊天截图。通过代理商,她免费办理了POS机。  8月份一笔POS机扣费提示。不到一年时间,杨女士被扣了1100多元手续费。  银盛支付POS机业务频遭投诉。 截图来源:黑猫投诉  近日,深圳市民杨女士向南都湾财社记者报料称,她通过银盛支付...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。