Apple升级旁白、放大镜、语音控制等功能 AI辅助失明或弱视用家
Apple 预告今年稍后将推出一系列全新辅助使用功能,当中不少会结合 Apple Intelligence,令“旁白”、“放大镜”、“语音控制”及“辅助使用阅读器”等日常功能变得更智能。新功能重点包括更详细的图像描述、以自然语言控制 iPhone 和 iPad、为没有字幕的影片自动生成字幕,以及让 Apple Vision Pro 用户以眼球追踪控制相容电动轮椅。对失明、弱视、听障或身体活动能力受限的用户来说,这些更新不只是功能升级,而是有机会直接改善日常使用科技产品的方式。
“旁白”可提供更详细图像描述
对失明或弱视用户来说,“旁白”一直是 Apple 装置中非常重要的功能。它可以读出萤幕上的内容,协助用户操作 iPhone、iPad 或 Mac。今次在 Apple Intelligence 支援下,“旁白”将加入 Image Explorer 功能,能够横跨系统提供更详细的图像描述。
这代表用户不只是知道画面上有一张相片,而是有机会听到更具体的内容描述。例如相片中有甚么人物、文件上大概是甚么资料,甚至扫描帐单、个人记录或其他视觉内容时,系统都能作出更清楚说明。
对弱视或失明用户来说,这种功能的意义相当大。因为日常生活中很多资讯都是以图像形式出现,例如帐单、表格、相片、海报、文件扫描图等。如果 AI 能将画面内容转化成语音描述,便可大幅降低阅读和理解障碍。
“即时识别”可用自然语言追问画面内容
Apple 亦会升级“即时识别”功能。使用“旁白”的用户,只要按下 iPhone 的“动作”按钮,便可因应相机取景器中的内容提问,并取得较详细回复。
举例来说,用户把 iPhone 对准一张帐单后,可以直接问“张单几钱?”或“几时到期?”系统便可根据画面内容回应。用户亦可用自己的说话方式追问更多视觉资讯,不需要使用非常固定或机械式的指令。
“放大镜”app 加入 AI 视觉理解
“放大镜”app 亦会得到 Apple Intelligence 支援,为弱视用户提供高对比度介面,以及类似的辅助探索和视觉描述功能。用户可以透过相机查看周围环境,再让系统协助理解画面内容。
这项功能同样可以配合“动作”按钮使用,让用户快速发问并得到答案。Apple 亦会加入语音指令控制,例如用户可说“放大”或“打开电筒”,直接操作“放大镜”app。对弱视用户来说,这比传统放大功能更进一步。以往放大镜主要是将画面放大,但今次 AI 可以协助解读画面,令用户不只是“看得大一点”,而是更容易知道眼前内容代表甚么。
“语音控制”支援自然语言操作
另一项重要更新,是“语音控制”将变得更自然。过去以语音控制 iPhone 或 iPad,很多时需要记住指定按钮名称、标签或编号。对部分用户来说,这仍然有一定门槛。
在 Apple Intelligence 支援下,“语音控制”将可理解更自然的说法。用户可以用日常语言描述想按的按钮或画面上的项目,而不必准确讲出系统标签。Apple 将这种方式称为“Say What You See”,即用户只要讲出自己看见的内容,便可操作 app。
例如在地图或档案 app 中,用户可以说“揿出最佳餐厅指南”或“揿个紫色文件夹”,系统便会尝试理解并执行操作。若某些介面元素未有正确标示辅助使用资讯,这项功能亦有助用户绕过操作障碍。
对身体活动能力受限、难以触控萤幕或使用传统输入方式的用户来说,这项升级会令 iPhone 和 iPad 更易控制。
“辅助使用阅读器”可处理更复杂文件
Apple 亦会升级“辅助使用阅读器”。这项功能本身是为阅读障碍、弱视或其他有阅读需要的用户而设,让内容以更容易阅读的方式呈现。
在 Apple Intelligence 支援下,“辅助使用阅读器”可处理更复杂的内容来源,例如科学文章、多栏文字、图片和表格混合的文件。系统可以将原本细小、复杂或分栏的内容,重新整理成更清晰、易读的版面。
新功能亦加入随选摘要,用户在深入阅读前,可先快速掌握文章大意。对需要处理大量资讯、但阅读速度较慢或较容易疲劳的用户来说,摘要功能有助减轻负担。此外,Apple 亦会加入内置翻译功能,让用户用自己的母语阅读内容,同时保留原有格式、字体与颜色。这对阅读外语文件、学习材料或工作内容都会更方便。
没有字幕的影片也可自动生成字幕
字幕对失聪或听障用户非常重要,但很多个人影片、亲友分享的短片,甚至部分网上影片,并未提供字幕或隐藏式字幕。Apple 今次预告的全新生成字幕功能,正是为了解决这个问题。
当影片没有提供字幕时,系统可自动将语音内容转写成字幕,并显示在画面上。这项功能适用于 iPhone 录制影片、亲友分享影片,以及网上串流内容。Apple 表示,这项功能会透过内置语音识别技术,以保密方式生成字幕,并可在 iPhone、iPad、Mac、Apple TV 和 Apple Vision Pro 上使用。用户亦可以在影片播放选单或设定中,调整字幕外观。
Apple Vision Pro 可用眼球控制相容轮椅
今次另一项突破性功能,是 Apple Vision Pro 将支援电动轮椅控制。部分电动轮椅用户无法使用传统操纵杆,因此需要其他控制方式。Apple Vision Pro 的精准眼球追踪系统,将可为相容替代控制系统提供输入。
Apple 指出,Vision Pro 可在不同光线环境下运作,而且毋须频繁重新校正眼球追踪。这项功能将率先在美国支援 Tolt 与 LUCI 替代控制系统,并支援蓝牙和有线连接配件。Apple 亦会继续与开发人员合作,扩展支援更多轮椅控制系统。
对电动轮椅用户而言,能够自行控制移动方向,是生活自主的重要一环。今次功能若能稳定运作,Apple Vision Pro 的眼球追踪就不只是空间运算操作方式,而是可直接改善行动能力受限人士的生活质素。
Hikawa MagSafe 配件全球推出
除了软件功能,Apple 亦宣布 Hikawa Grip & Stand for iPhone 经 Apple Store 网上商店全球推出,并提供三种新色。这款 MagSafe 配件由洛杉矶设计师 Bailey Hikawa 开发,设计时以无障碍辅助使用为核心,并与多位受握力、力量或活动能力影响的身心障碍人士合作研发。
Hikawa Grip & Stand 是一款可调节握把与支架配件,让用户可以用更适合自己的方式握持 iPhone。对部分手部力量不足、握持困难或长时间拿手机容易疲劳的用户来说,这类配件可令 iPhone 使用更稳定、更舒服。
这亦反映 Apple 的辅助使用策略不只停留在系统功能,也延伸到实体配件和日常握持体验。
其他辅助功能同步更新
Apple 亦预告多项其他辅助功能更新。visionOS 将加入“车辆移动提示”,协助在行驶车辆中使用 Apple Vision Pro 的乘客减轻晕车情况。Vision Pro 亦将支援以脸部动作进行点按和系统操作,并在使用“停留控制”时,提供以眼睛选取元素的新方式。
iOS 和 iPadOS 的“触控调节”会提供更多个人化设定。Made for iPhone 助听器将可更稳定地在不同 Apple 装置之间配对和切换,并在 iOS、iPadOS、macOS 和 visionOS 上带来更佳设定体验。
Apple TV 方面,“放大文字”功能将登陆 tvOS,让弱视观众可放大萤幕文字,阅读选单和内容资讯时更方便。Apple 亦会加入“名称识别”功能,当有人叫出失聪或听障用户的名字时,系统可发出通知,并支援全球超过 50 种语言。
此外,Apple 亦推出全新 API,让手语翻译 app 开发者可在 FaceTime 视像通话期间,让真人手语翻译员中途加入。对难以使用传统游戏控制器的用户,iOS、iPadOS 和 macOS 将可支援 Sony Access 控制器,用户可自订摇杆、按钮和外部开关配置,甚至结合两组控制器,建立更个人化的游戏体验。