北京，2023年10月16日/PRNewswire/-全球领先的全息增强现实（“AR”）技术提供商WiMi全息云股份有限公司（NASDAQ:WiMi）（“WiMi”或“公司”），今天宣布，该公司开发了基于多模式脑电图的混合脑机接口系统，该系统具有视觉伺服模块，该模块结合了SSVEP和运动图像信号，并引入了视觉伺服模块来提高机器人执行抓握任务的性能。通过组合不同类型的脑电信号，用户可以更自由、更直观地控制机器人执行各种动作，从而提供更令人满意的服务体验。
基于多模态脑电的视觉伺服混合脑机接口系统的实现方法主要包括信号采集、信号处理、控制命令生成和视觉伺服模块的设计。
1.信号采集：系统首先需要采集用户的脑电信号和视觉反馈信号。为了实现多模态控制，系统同时获取SSVEP和运动图像信号。
SSVEP信号采集：通过将脑电图电极放置在用户的头皮上，系统可以采集用户的SSVEP信息。SSVEP是一种闪烁视觉诱发电位，当用户的视觉注意力集中在特定频率的闪烁刺激上时，大脑会产生特定频率的电信号。为了实现多模态控制，系统在视觉界面上提供三种不同频率的闪烁刺激，每个刺激对应机器人的一个控制命令，如向前、向左和向右。
运动图像信号采集：除了SSVEP信号外，系统还需要采集用户的运动图像信号。这是通过在特定区域上通过EEG电极获取用户的运动图像信号来实现的。当用户想象抓握动作时，相关联的运动图像信号被捕获并用于控制机器人执行抓握动作。
信号处理：信号采集后，需要对获得的原始脑电图信号进行处理和分析，以提取有用的信息，并进行特征提取和分类，从而识别用户的意图。
SSVEP信号处理：对于SSVEP的信号，系统首先需要对原始信号进行滤波和预处理，以消除噪声和干扰。然后，通过提取光谱特征，它识别出用户当前的视觉注意力集中在哪个频率，从而确定用户的意图是向前、向左还是向右。
电机图像信号处理：对于电机图像信号，系统需要对原始信号进行预处理，以消除噪声和干扰。然后，通过特征提取和分类来识别用户想象中的动作，如抓握动作。
在WiMi的基于脑电的多模式视觉伺服混合脑机接口系统中，控制命令的生成是整个系统的核心部分。控制命令生成包括解析识别的EEG信号，并将其映射到相应的机器人动作。
3.控制命令生成：系统在识别出用户的意图后，根据获得的结果生成相应的控制命令，从而控制机器人的动作。
SSVEP控制命令生成：对于SSVEP信号，系统使用频谱分析来处理信号。光谱分析提取用户当前视觉注意力集中在哪个频率。视觉界面上提供的不同闪光刺激对应于机器人的不同动作，如向前、向左和向右转弯。通过识别用户视觉注意力所在的频率，系统能够确定用户的意图并相应地生成相应的控制命令。
运动图像控制命令生成：对于运动图像信号，该系统利用特征提取和分类技术来识别用户想象的运动。当用户想象抓握动作时，捕捉特定的运动图像信号。该系统通过训练机器学习算法来识别这些特征，并基于识别结果生成相应的控制命令，以指示机器人执行抓取动作。
