解读英伟达芯的雷达手势识别我们对Project Soli有了更多了解

时间: 2024-01-15 22:02:51 |   作者: 光电sensor

工作地点:首页 > 爱游戏最新官网 > 光电sensor

  在2016年的谷歌I/O大会上,谷歌低调展示了数款高科技硬件产品。其中有超炫的雷达芯片——ProjectSoli。它采用微型雷达来捕捉细微的手势动作,实现对硬件的操控。它可以隔空操作智能手表,可以取代触摸屏隔空操控手机,可以取代触控板操作电脑,甚至已经有开发者实现隔空打字的功能!它还可以用在VR中进行交互,取代手持设备得到更优秀的游戏体验。相比于当前流行的二维触屏系统,它的控制手势是三维立体的,所以显得更为直观,更生动,再加上利用了“电磁波”这只看不见的手来操控,颇有些魔术效果。

  Project Soli由两个芯片组成,一个是微型雷达传感芯片,一个是主控芯片。其中雷达传感芯片内置了天线mm大小。雷达的电磁波发射频率是60GHz,波长为5mm,该芯片可以识别5cm-5m的细微手势,操控距离限制在15m内,并且具有180°的视角。下图展示了两款芯片的大小,最左边是主控芯片,中间是雷达传感芯片。

  与初代Project Soli相比。新一代的Project Soli主控芯片与英飞凌合作设计,功耗降低了22倍,从1.2W降低到了0.054W。新的雷达传感芯片效率更是提高了256倍,并能实现每秒18,000帧的扫描。这让该项技术应用在智能手表上成为可能。下图展示了几种操控的手势:

  谷歌的Project Soli采用了雷达成像原理,采用了60GHz频段的毫米波,波长为5mm。采用毫米波好处在于,相比于微波(0.3G~30GHz)的波段几乎已经被各种无线应用占据,比如WIFI,蓝牙,无线通信,AM、FW无线广播等。毫米波本身免授权、免付费、及未被大量采用,换句话说,不需耗费申请时间及费用,就可以使用该频段。WirelessHD及IEEE802.15.3c皆属毫米波无线GHz。

  雷达主要利用无线电波的反射来进行成像。通过计算从天线发射无线电波,到天线收到反射波的延时,能得出物体的位置。通过比较发射波与反射波的波长变化(多普勒频移),可以计算出物体的速度。当物体靠近雷达运动,其反射波的波长会变短;当物体远离雷达运动,其反射波的波长则会变长。物体的速度越大,波长的变化也越大。这样,通过对比发射波和反射波,就得到了物体的位置和速度,也就可以精细地捕捉物体的运动。

  采用毫米波雷达做手势识别,难点在于雷达传感器芯片设计,其中又包括MMIC芯片(单片微波集成电路)和天线)前端MMIC芯片:它包括多种功能电路,如低噪声放大器(LNA)、功率放大器、混频器、甚至收发系统等功能。具有电路损耗小、噪声低、频带宽、动态范围大、功率大、附加效率高、抗电磁辐射能力强等特点。毫米波雷达的核心部件前端单片微波集成电路(MMIC)技术由在国外半导体公司掌控,而高频的MMIC只掌握在英飞凌、飞思卡尔等极少数国外芯片厂商手中。

  (2)雷达天线高频PCB板:毫米波雷达天线的主流方案是微带阵列,简单说将高频PCB板集成在普通的PCB基板上实现天线的功能,需要在较小的集成空间中保持天线足够的信号强度。

  Google Project Soli的毫米波雷达通过RDM(Range Doppler Map,距离-多普勒映射)算法获得目标信息。谷歌并没有公布ProjectSoli的设计细节,但笔者发现,英伟达设计的一款基于FMCW(调频连续波)技术的毫米波雷达手势识别芯片系统,同样使用了毫米波雷达技术,也采用英飞凌的MMIC射频解决方案。更巧的是,RDM算法也被应用在其中,应该相当具有参考价值。

  该系统设计目标是用于车内手势识别,操作距离为1m之内。中心频率为25GHz的毫米波,频宽4GHz,距离分辨率是3.75cm。具有4D测量的功能,可同时测量物体的三维位置和运动速度,水平视角为±45

  ,垂直视角为±30°,检测速度不高于1.5m/s。该系统的设计原型由微控制器,模拟电路,雷达射频芯片和4路天线路接收天线路发射天线。下图是该系统的设计原型,粗糙了点,但是能用:

  该系统的MMIC前端系统采用英飞凌的BGT24MTR2芯片,主控制器采用德州仪器的Cortex M4F微处理器。模拟端的采样频率为40KHz,采用8bit模数转换,锯齿波生成器采用500Hz的输入源输送给VCO(压控振荡器)单元,通过串口连接PC主机做信号处理和手势识别算法,系统采用USB供电,整个从机的功耗小于1W。整体架构如下图所示:

  得到的结果进一步离散采样,组织成矩阵的形式,其中矩阵的每一列包含单次扫描的节拍信号。4、然后再进行二维离散傅里叶变换,最后得到手部的位置延时和多普勒频移等信息,进而得到手部的位置和运动速度。

  得到了手部的位置图和速度图,就可以辨别出具体的手势动作及含义。下图展示了

  二者不同之处在于谷歌的是60GHz频段的毫米波,而英伟达采用的是25GHz的毫米波;在天线设计和PCB设计上会有一些不同;再者英伟达的这款只是原型设计,其数字信号处理主要是依靠PC端的解决能力,这当然不可能集成到嵌入式系统当中。

  而谷歌则采用了专用的芯片来做数字信号处理,所以能做到超低功耗,并提高性能,达到嵌入式可穿戴智能设备的使用需求。

  目前Project Soli仍处于开放研发阶段。谷歌声称将在2017年推出版本的硬件。能预见的是,在明年的开发者大会上,我们将会看到更成熟的雷达手势控制芯片以及配套的软件系统,如果其成本能够更好的降低下来,或许当时,新的交互时代将会来临。

下一条:每刻深思邹天琦:感存算模拟芯片实现低功耗视觉手势识别