开发语音控制,我得到了这些经验!_语音_控制_你可以

【CSDN 编者按】语言控制向很多无法充分挖掘 iPhone 潜力的人敞开了 iOS 的大门。

原文链接:/

作者 | Jordan Morgan 译者| 弯月

出品 | CSDN(ID:CSDNnews)

语音控制是 iOS 设备上提供的一项突破性辅助技术,由 Cupertino & Friends™️ 开发。这项技术在 iOS 13 中首次亮相,有了这项技术,你就可以通过语音控制 iPhone 了。

你可以试试看,拿起手机,然后说:“嘿 Siri,打开语音控制。”

请注意,如果这是你第一次使用语音控制,那么可能 iOS 需要下载一次性的配置文件才能正常使用。语音控制在 macOS 上也可用,可能也需要相同的设置。

在语音控制被激活后,你就可以通过各种命令导航和使用 iOS 了,命令的形式为“一个动词+一个名词”。例如,“打开手电筒”或“播放音乐”。如果你不确定自己能干什么,甚至可以说“显示命令”或“告诉我该说什么”,这样就能获得一些提示。

语音控制主要有三种显示模式。如果某个功能支持辅助引擎,则可以看到:

项目名称:对应于该功能的 accessibilityLabel 值。

编号:每个选项的编号。

网格:这些线将界面分割成一个个网格,这样你就可以专注研究一个区域。

辅助功能测试

开发人员可能没有意识到的一件事是,语音控制除了可以帮助残障人士打开 iPhone 之外,对于 iOS 工程师来说,这其实是一个代码作弊神器。

为什么?因为你可以看到界面内所有 accessibilityLabel(可访问性标签)的值!

你可以很轻松地看到自己漏掉了什么。如果你不熟悉 iOS 上的辅助功能编程,可能觉得这些可访问性标签也没什么大不了,其实你应该了解一下这些属性。

展开全文

选项名称是默认模式,因此你能够快速盘点所有的选项。这些天来,这一直是我测试我们的产品 Voice Over 的最佳方式。如果你发现某个可访问性标签不太适合语音控制,则可以通过 API 来修改:

这个字符串数组可以帮助语音控制功能做出响应。最重要的是,数组中的第一个字符串将取代界面显示的可访问性标签值。

回忆一下,设置的图标一般是一个小齿轮。假设你有一个视频编辑应用,如下所示:

为了指示 Siri 正确打开这个应用,我们需要说:“Open audio levels and mixing settings”,其中 “Open” 是动词,意思是打开,而 “audio levels and mixing settings” 就是上述代码中设置的可访问性标签的值。这个指令显然太啰 嗦了,我们可以利用 accessibilityInputLabels 完成以下两件事:

1.缩短指令。

2.指定语音控制的响应内容。

如下所示:

如此一来,我们就可以使用 accessibilityInputLabels 中指定的任何一个词语作为指令:“Open Audio Settings”、“Open Settings”、“Open Audio Levels” 或者 “Open Mixing Settings”。

难点

最近,我一直在改进我们的语音控制体验。虽然,现在我们的语音控制体验可以正常运行了,但在这个过程中,我遇到了很多挫折。

相似的项目名称

我发现,有几个地方出现了相同的可访问性标签值。如下图所示,“Create a post for this time” 反复显示:

于是,我就在想这是不是一个问题。结果发现,照片应用也有同样的“问题”,因此我想知道他们是如何处理的。最终发现,原来是语音控制解决了这个问题。

当你发出的指令涉及多个显示标签时,比如下图中 “Tap Live Photo”,iOS 就会在每张照片上显示一个数字编号,这样就可以消除歧义了:

很聪明的做法。

冗长的名称

有时候,我不知道用什么样的字符串与界面交互。例如,在我们的设计中,网格中的每一项可以代表任何操作。你可以将它们视为社交媒体帖子。在这种情况下,似乎直接念出文本并不太方便,尤其是如果文本是URL的话,未免也太冗长了。

最后,我决定使用编号。这种方法不仅可以让每一项都成为独一无二的存在,而且打开操作也非常容易。

在下图中,右边是默认的显示,左边是我最后采用的编号方式:

没有用于检测语音控制的 API

最后,我遇到了一个最棘手的问题。我们无法通过 API 检测何时语音控制处于使用状态。所以,我们不能编写下面这样的代码:

为什么我们要写这样的代码?因为某些网格内的单元格有 UISwitch 控件。这是一个标准的用户体验,在 iOS 中随处可见。我们写这段代码的原因是,有可能人们不会点击格子与它们互动,而是直接使用开关控件。

但对于 Voice Over,这种行为正是我们需要的。问题在于,语音控制不适合这样的设置。请注意如下单元格 “Pause Queue Off”:

如果用户说“Tap Pause Queue Off”,上面的逻辑就会触发,但是检查 Voice Over 却得不到任何响应。重要的是,Voice Over 和 Voice Control 是相互排斥的,你只能使用其中之一。

我多么希望苹果有一个简单的 API 来检查语音控制的状态,就像下面这样:

然而,很遗憾,我们没有。因此,解决这样的问题就会非常困难。

最后的想法

语音控制非常酷,它是苹果推出的一项我个人非常喜欢的技术。但是,相关的开发还是有一些陷阱,例如你无法通过 API 检测语音控制是否正在运行,这仍然让我感到困惑。

然而,这是测试个人语音控制实现的最佳方式之一。最重要的是,它向很多无法充分挖掘 iPhone 潜力的人敞开了 iOS 的大门。

☞ ChatGPT 的开源“替代”来了!前 OpenAI 团队出手,能用中文提问,3 天斩获 3k+ Star

☞ 烧数亿美元、耗上万颗英伟达 GPU,微软揭秘构建 ChatGPT 背后超级计算机往事 !

☞GPT-4 发布:在考试中击败 90% 的人类;谷歌开放大语言模型 PaLM API;FireFox 111 发布|极客头条

特别声明

本文仅代表作者观点,不代表本站立场,本站仅提供信息存储服务。

分享:

扫一扫在手机阅读、分享本文