这项新技术可将各种物体表面变成输入设备

密歇根大学交互式传感与计算 (ISC) 实验室和 Meta Reality 实验室的研究人员最近在 2023 年计算系统人为因素会议 (CHI '23) 上展示了一种新型输入设备，可抵抗环境噪声。

电容式输入感应使智能手机触摸屏成为可能。它允许用户使用各种手势来打开或关闭应用程序、快速编写消息或关闭警报。在触摸屏手机出现之前，数字键盘需要按 13 次按钮 (4-4-3-3-5-5-5-5-5-5-6-6-6) 才能写出hello。

SAWSense 可识别柔软或不规则表面上的不同类型的触摸输入，甚至是人的衣袖。图片由ISC 实验室提供

现在，在电容传感技术的下一次改进中，密歇根大学团队及其 Meta 合作伙伴展示了他们的SAWSense 系统如何重新利用骨传导麦克风中常用的技术来拾取沿物体表面传播的声波。据悉该系统可以在非平坦表面（例如人的手臂或玩具）以及家具或衣服等柔软织物上运行。除了在嘈杂的环境中工作外，研究人员还报告说，该系统能够以极高的准确度识别不同的输入（例如滑动、轻敲和划痕）——所有这些都不需要其他常见的输入方法，如触摸屏、相机、或垫。

现有输入法的挑战

自第一款触摸屏手机问世以来，语音助手让语音输入成为可能；其他传感器使手势或眼动追踪能够与我们的设备进行交互。

然而，许多输入方法在可以感测的手势或输入的种类方面受到限制。例如，加速度计的采样带宽通常小于 250 Hz，而压电麦克风的频率可能限制在 2–4 kHz 之间。基于摄像头的方法可能无法区分近距离接触和实际接触，而麦克风可能难以应对环境噪音。

SAWSense 试图通过专注于声表面波 (SAW) 来克服这些限制，声表面波是仅在地对空边界存在和传播的二维波。SAW 可以在很宽的频率带宽下被检测到，从而可以区分表面上的划痕和滑动——即使是在很远的距离。

SAWSense 利用语音拾取单元检测表面声波

研究团队通过重新利用语音拾取单元 (VPU) 开发了 SAWSense，语音拾取单元用于麦克风，将振动从声带传递到内耳。VPU 专为检测 SAW 而设计，采用密封设计，确保不会检测到基于空气的声波。只有与传感器接触的表面发出的声波才能被识别。

SAWSense 上的语音拾取单元。图片由ISC 实验室提供

当 VPU 检测到 SAW 时，它会通过信号处理软件提供这些信号，该软件使用机器学习对手势类型进行分类，准确率超过 97%。

当用户将指甲甩到桌子上时，该动作会产生可被 VPU 检测到的表面声波，然后用机器学习管道对其进行解释

在该团队的实验中，SAWSense 检测到在嘈杂和安静的环境中在桌面上的敲击、滑动和轻弹。通过在桌面上使用两个 VPU，研究人员还演示了如何通过滑动或点击来滚动或导航网页。

与奇怪的几何形状和材料兼容

SAWSense还在不同的表面上进行了演示，以表明它不仅限于类似桌面的平坦环境——甚至证明可以将人体作为输入源进行操作。

SAWSense 将玩具变成输入设备，可以检测不同的动作，例如揉肚子

在一项实验中，该系统可以区分玩具上的抚摸、腹部摩擦和假装喂食动作。当连接到外套袖子时，SAWSense 检测到各种手势，例如挤压。在扬声器上，即使在播放音乐时，传感器也可以检测到划痕或敲击声。

这项研究为什么可以被视为输入设备以及用户可以与之进行的不同类型的交互开辟了不同的可能性。虽然研究人员承认振动或表面声波可以用加速度计或压电传感器等其他工具检测，但 SAWSense 在更高的频率带宽下运行，使其能够捕获范围更广的信号并拒绝外部波。

将任何表面变成输入接收器

该团队将 SAWSense 视为可以提供更大隐私的替代输入法。由于 SAW 只能在地对空边界传播，例如，与语音输入相比，办公室中的个人办公桌可以用作更私密的输入表面。

该团队计划使用带有多个 VPU 的 SAWSense 来定位表面上的输入，并将它们与其他输入类型（例如基于视觉的输入类型）相结合，以纠正输入错误。研究人员还建议，SAWSense 最终可以用于医疗应用，系统可以检测细微的声音，例如关节破裂和爆裂声，从而为诊断和治疗提供洞察力。

研究人员说，也许 SAWSense 最有前途的用例是在智能家居中。SAWSense 可用于将厨房台面变成表面传感器，使其能够识别何时用于混合、搅拌、切碎或搅拌。事实上，在演示中，该系统成功地对 16 种不同的厨房活动进行了分类（切菜、关闭微波炉门、使用食品加工机等）。

由于使用 SAWSense 的智能家居技术将依赖表面声波而不是摄像头或麦克风，因此它们为传统输入方法提供了一种注重隐私的有吸引力的替代方案。

来源：EETOP编译自allaboutcircuits

扫描二维码参与学习或试看

扫描二维码参与学习或试看