北京，2023年6月6日/美通社/——全球领先的全息增强现实（AR）技术提供商WiMi全息云股份有限公司（NASDAQ:WiMi）（“WiMi”或“公司”）今天宣布开发基于手势识别的虚拟交互系统。该系统通过识别设备识别用户的身体和手势运动。同时，系统使用沉浸式设备对处理结果进行反馈，显著丰富了交互语义，增强了交互的自然友好性。它具有逼真的可视化效果、友好的交互模式和合适的兼容性交互模式等优点。
首先，系统通过采集装置实时采集手部数据，确定手势动作的连续点。然后使用基于加权的动态时间正则化算法对手势动作进行粗粒度识别。在识别出基本的手势动作后，系统提取并匹配特征向量来标记主要的局部图像。之后，系统使用深度学习方法对手势动作进行细粒度识别。然后将两者的结果组合起来以执行详细的手势翻译。最后，识别结果与虚拟环境交互，为用户模拟身临其境的感觉。
基于加权动态时间正则化算法的手势识别分为三个主要步骤：建立手势样本库，训练手势样本模型，以及匹配识别样本与样本库样本之间的相似性。在识别中，首先截取一些手势帧作为测试样本，然后与样本库中的样本进行比较，以找到最匹配的样本。
在细粒度手势识别过程中，系统自动进行图像特征提取，并通过卷积神经网络在候选区域中选择合适的手势动作。该算法包括特征提取网络、区域建议网络获取、兴趣区域池和全连接层。手势细粒度图像由几个卷积层组成，这些卷积层与用于特征提取的池化层交替。卷积网络层的每个局部信息节点通过卷积网络内核连接到先前神经网络层的局部信息节点。在对激活函数进行优化后，得到了该网络层中细粒度手势的特征图。池层神经网络中每个手势的输入本征面对应于前一层中手势的本征面信息。该系统稀疏地处理手势的特征信息，以获得具有空间不变行的特征。在全连接层，系统集成了手势的特征信息，并具有相当精细的区分。在输出层，分类器对手势细粒度进行特征处理后，系统返回分类处理结果。
在特征提取网络中，系统只关注手的局部细节，如手指位置、运动和运动轨迹。在特征提取池操作之后，在保证图像基本信息的同时，将维数降低到原始图像的一半，可以有效地降低计算的时间复杂度。该区域表明网络将特征提取网络的最后输出值作为输入，并使用固定大小的窗口在特征图上滑动。每个幻灯片都获得低纬度的矢量值，每个像素点都返回到区域建议网络最后一层中原始图像所在的位置。
系统输入提取的特征图和候选区域。基于输入图像，系统选择感兴趣的区域，即与特征图相对应的手指区域的位置。系统对该区域执行最大池化操作，并将该池化数据输入到完全连接的层。因此，输入属于最高分类的概率，同时使用边界回归来获得位置的偏移，以获得更准确的目标检测帧。该系统可以显著提高手势动作的识别率，增强人机交互的逼真体验和沉浸感。
