北京，2023年9月5日/PRNewswire/-全球领先的全息增强现实（“AR”）技术提供商WiMi全息云股份有限公司（NASDAQ:WiMi）（“WiMi”或“公司”）今天宣布，它开发了一种基于混合BCI的辅助机器人技术和控制方法。该技术结合了各种技术组件，如眼动仪、记录脑电图信号的设备、网络摄像头和机械臂，使用户能够通过混合凝视脑机接口准确控制机械臂的运动。
这种辅助机器人控制技术将使用户能够通过混合脑机接口控制机械臂末端执行器的运动，从而实现更精确、更灵活的操作。开发这项技术是为了提高机器人的抓取性能，重点是提高其抓取性能，从而实现抓取任务的自动化。为了实现这一目标，开发团队将任务分为三个关键阶段，并利用自然的人类视觉运动协调行为。
首先，用户在离散选择模式下使用混合BCI指定辅助机器人的目标位置。通过观察目标周围出现的虚拟矩形，用户确认目标位置已成功传达给辅助机器人。随后，它自动切换到连续速度控制模式并进入第二阶段。用户使用混合BCI顺序移动机械臂末端执行器，同时避免与障碍物碰撞。一旦末端效应器进入目标对象正上方的预先指定区域，它就会自动停止并悬停在目标上方。最后，执行预先编程的程序。末端执行器向下移动，根据工作空间中目标的方向调整抓取器的方向，并成功抓取对象。这种设计有效地减少了自由度的数量，并允许用户在三维中到达物体。
该技术的关键之一是混合脑机接口的应用。该技术结合了视觉跟踪和脑机接口技术，能够通过离散选择模式和连续速度控制模式对机器人进行控制。在离散选择模式中，用户通过凝视目标位置来输入目标位置，然后自动切换到连续速度控制模式，该模式根据用户的速度命令将机械臂末端执行器移动到目标位置。
WiMi技术的目标是实现准确的意图感知、高效的运动控制和人机交互。该技术的底层逻辑结合了几个技术组件和算法，以确保控制系统的稳定性、可靠性和性能优化。在底层逻辑中，眼动仪和脑电图信号记录设备通过实时监测用户的注视点和脑电图信号，在提供用户意图和注意力方面发挥着关键作用。眼睛跟踪器跟踪用户的眼睛运动并确定用户的注视点和视线方向。EEG信号记录设备记录用户的EEG活动，并通过信号处理和分析算法提取与意图和注意力相关的特征。
基于眼动数据和EEG信号的数据处理和算法需要实时处理和解码，以提取用户的意图和注意力指示。这涉及到使用机器学习、模式识别和信号处理等技术来识别和解码用户的意图和注意力状态。
环境感知和避障是一个重要组成部分。该技术利用传感器来感知周围环境和障碍物的位置。环境传感数据和算法能够实时规划安全路径和避免碰撞，并将这些信息与用户命令相结合，以确保机械臂在运动过程中的安全性和准确性。共享控制器将用户命令和机器人自主命令融合在一起，形成新的控制命令，用于精确控制末端执行器的运动。致动系统将控制命令转换为机械臂的实际运动，以实现精确的位置控制和抓握动作。这需要运动控制算法、运动规划和致动控制策略的协同工作，以实现用户意图的精确通信和精确的任务完成。
