【小哈划重点:团队表示,PoseSonic未来有望用于增强现实和虚拟现实。超越了目前的可穿戴设备,目前的可穿戴设备往往依赖于微型摄像头,构成潜在的不实用性和隐私担忧。】
康奈尔大学面向未来交互的智能计算机接口(SciFi)实验室推出了PoseSonic,这是其在配备声纳的可穿戴设备方面的最新创新。
PoseSonic采用普通眼镜的形式,但结合了微型声纳技术,能够利用人类不可听的声波和人工智能来对用户的上半身运动进行3D追踪。
研究人员认为,随着PoseSonic的进一步发展,它未来有望用于增强现实和虚拟现实。
康奈尔大学的Saif Mahmud对PoseSonic在自然环境中检测精细人类活动的潜在应用表示兴奋。他强调了身体感应技术的作用,如PoseSonic,在培养对个人行为的正念。
这项研究名为《PoseSonic:3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses(通过智能眼镜的自中心声学传感进行3D上半身姿势估计)》,团队强调了他们研究小组方法的开创性,通过可穿戴设备使用无声声学和人工智能进行身体姿势追踪。
PoseSonic的设计特点是两对微型麦克风和扬声器,在眼镜铰链安装,扬声器发出的无声声波从上半身反弹并返回到麦克风,形成回声轮廓图像。
设备使用定制的深度学习模型来估计九个身体关节的3D位置,包括肩膀、肘部、手腕、臀部和鼻子。团队采用一种跨模态监督策略来训练模型,并使用同步的RGB视频帧作为ground truth。值得注意的是,PoseSonic可以在不需要初始训练的情况下有效地运行。
团队表示,PoseSonic代表了一个显著的进步,超越了目前的可穿戴设备,目前的可穿戴设备往往依赖于微型摄像头,构成潜在的不实用性和隐私担忧。
该团队报告说,相关技术以最低的功耗运行,大约是可穿戴摄像头的十分之一,有助于增强PoseSonic的紧凑性,适合日常使用。此外,研究人员强调,与可穿戴式摄像头相比,声纳技术减少了人们对隐私的担忧。
总的来说,PoseSonic将声纳技术和人工智能相结合,为可穿戴设备的发展提供了一个很有前途的方向,为身体姿势跟踪提供了一个更实用、更注重隐私的解决方案。