Abstract
脑机接口是指不依赖于外周神经和肌肉,在人脑与外部设备之间建立起一条直接的信息交流通路。相较于侵入式脑机接口,非侵入式脑机接口具有低成本、低风险、易操作等优势。近年来,利用非侵入式脑机接口技术对外设进行控制逐渐成为一种新型人机交互方式,而脑机接口控制策略是该方式的重要组成部分。本文首先介绍了脑控策略的分类和发展,其次详细描述了直接和共享两种控制策略的基本特点,再次对比分析这两种脑控策略的优缺点,最后对非侵入式脑控策略发展方向和应用前景进行了分析与展望。
Keywords: 脑机接口, 非侵入式, 人机交互, 控制策略
Abstract
Brain-computer interface (BCI) can establish a direct communications pathway between the human brain and the external devices, which is independent of peripheral nerves and muscles. Compared with invasive BCI, non-invasive BCI has the advantages of low cost, low risk, and ease of operation. In recent years, using non-invasive BCI technology to control devices has gradually evolved into a new type of human-computer interaction manner. Moreover, the control strategy for BCI is an essential component of this manner. First, this study introduced how the brain control techniques were developed and classified. Second, the basic characteristics of direct and shared control strategies were thoroughly explained. And then the benefits and drawbacks of these two strategies were compared and further analyzed. Finally, the development direction and application prospects for non-invasive brain control strategies were suggested.
Keywords: Brain-computer interface, Non-invasive, Human-computer interaction, Control strategies
引言
脑机接口(brain computer interface,BCI)是指不依赖于外周神经和肌肉,在人脑与外部设备之间建立的直接交流通道 [ 1 ] 。目前,按照采集电极的放置位置可将BCI分为侵入式和非侵入式。侵入式BCI一般通过外科手术将采集电极植入到大脑颅腔或灰质中,采集到的神经信号信噪比和空间分辨率较高,但手术操作风险较高,且易引发免疫反应并形成愈伤组织,从而导致采集的信号质量变差。为避免电极植入大脑引起损伤,目前BCI系统多采用非侵入方式采集脑电波(electroencephalogram,EEG),即从头皮表面记录神经活动信号。与侵入式BCI相比,非侵入式具有低成本、低风险、操作简单、易使用等优势,同时用户对非侵入式BCI的接受度远高于侵入式BCI [ 2 ] 。
BCI控制系统是指通过EEG编解码算法将人的思维活动转变成控制指令驱动外部设备。它主要由信号采集单元、信号处理单元、指令映射单元等组成。信号采集单元利用采集装置采集用户的EEG信号;信号处理单元对所采集的EEG信号进行特征提取并识别;指令映射单元则将分类结果映射为外设可执行的控制指令。在控制过程中,用户实时感知外设的状态,更新控制意图,以实现对外设的稳定控制。随着非侵入式BCI技术的快速发展,利用BCI控制系统实现对外部复杂设备的控制成为可能。由于BCI控制系统是利用大脑信号直接控制外部设备,控制效率在理论上优于手动控制 [ 3 ] ,且能够拓宽人机交互通路带宽,在康复、娱乐、军事等领域均有广泛的应用前景 [ 4 - 6 ] 。
当前多数研究者主要专注于EEG编解码算法的性能提升,但在工程应用中,BCI系统的控制策略也同样重要。利用传统BCI控制方法来完成复杂任务时,往往会给用户带来巨大的认知压力,而且存在控制精度不高等问题。为了减轻用户的交互负担,提高系统的控制精度和鲁棒性,本文对非侵入式BCI控制策略的现有研究进行综述,旨在为BCI控制系统方面的研究提供一些思路。
1. BCI控制策略的研究现状
BCI技术形成于20世纪70年代,经过数十年的发展已取得了重大突破,成为神经科学领域的重点研究课题之一。在BCI控制系统中,根据用户和机器之间的互动程度以及输出指令形式 [ 7 ] 可将BCI系统的控制策略分为如 图1 所示的直接和共享两类。
Block diagram of non-invasive brain-computer interface control strategies
非侵入式脑机接口控制策略组成框图
直接控制策略结构流程如 图2 所示。它是指利用信号采集装置采集用户主动式或反应式脑电信号,通过信号采集、特征提取、模式识别后生成控制指令直接控制外部设备的一种BCI控制方法 [ 8 - 9 ] ,其研究主要基于BCI的三大基本范式[P300、运动想象(motor imagery,MI)、稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)]和混合范式展开。如Oralhan [ 10 ] 利用P300范式设计了一个新型的基于音频和视觉刺激的拼写系统,同时P300也被应用于如交通信号灯 [ 11 ] 、电动轮椅 [ 12 ] 、机械手臂 [ 13 ] 、鼠标 [ 14 - 15 ] 的控制。Wang等 [ 16 ] 设计了基于MI-BCI系统来控制假体完成不同的动作。Duan等 [ 17 ] 采用SSVEP和MI混合范式实现了对无人机的飞行控制。Xu等 [ 18 ] 利用并行P300和SSVEP的混合特征实现了超过100指令的高速混合脑-机接口拼写器。
The structure flow of direct control strategies
直接控制策略结构流程
共享控制策略的结构流程如 图3 所示,利用该策略的控制系统主要由BCI编解码部分、智能传感模块、共享控制器、外部设备等四部分组成。用户通过BCI输出控制指令,这些指令可以是直接的机器运动控制指令,如机器移动方向;也可以是间接的控制指令,如机器人期望达到的目的地、期望抓取的目标等。BCI在共享控制过程中作为辅助控制或决策控制,不需要用户连续实时对机器人发出控制命令,从而减少用户的工作量。共享控制策略可以将机器智能与BCI技术相结合,使机器人具有主动避障、路径规划等能力,控制更加平滑自然。
The structure flow of shared control strategies
共享控制策略结构流程
共享控制策略与直接控制策略最大的区别在于共享控制策略包含智能传感系统,能对外部环境实时监测,通过反馈信息实现控制环节的自校正,同时利用机器智能还能够提高鲁棒性和控制精度。Deng等 [ 19 ] 提出了一种基于径向基函数(radial basis function,RBF)神经网络的强化学习(reinforcement learning,RL)方法,用于评估用户大脑的控制能力,利用贝叶斯网络的输出,设计了一个共享控制器来动态调整机器智能控制和用户BCI控制间的权重。该系统可以实现全时共享控制,具有较好的鲁棒性。Zheng等 [ 20 ] 设计了一种基于MI-BCI的共享控制系统,该系统利用贝叶斯概率算法判断机器人运动方向,同时可自动分配机器人自主运动的控制比权重,用以提高机器人的控制精度。
2. 直接控制策略
基于直接控制策略BCI系统的控制效果与EEG的解码算法性能紧密相关。因此,目前与直接控制策略相关的文献多聚焦于BCI解码算法的研究 [ 21 - 23 ] ,本章将针对三大基本范式及其主流解码算法进行简单的介绍。
2.1. P300
基于P300的BCI系统是目前最常用的非侵入式BCI系统之一,由于P300-BCI具有显著的时域特征,多采用判别函数分析方法来分类。例如,线性判别分析(linear discriminant analysis,LDA)是P300 speller中常用的典型分类方法,具有计算量低、分类效果良好等特点,但在训练样本较少时可能会出现过拟合高维噪声数据的问题,影响分类性能 [ 24 ] 。为了解决该问题,研究者在LDA基础上通过改进得到一种逐步线性判别分析(step-wise linear discriminant analysis,SWLDA)算法,该算法可以对判别函数中的特征进行筛选,达到特征空间降维的效果 [ 25 ] 。
2.2. 运动想象
基于MI的BCI是一种不依赖于视、听、触等外源性刺激的主动式BCI,可以做到真正意义上的“所思即所动”。当前国内外对MI模式的解码算法主要围绕基于空间域的共空间模式(common spatial pattern,CSP)算法展开 [ 26 ] 。经典的CSP算法通过设计与信号特征匹配的空间滤波器来增强运动意图的诱导特性,但未充分考虑EEG的时频域信息,且对噪声十分敏感 [ 27 ] 。因此,CSP应用在MI-BCI控制系统时存在分类精度有限、鲁棒性差等问题。为了解决经典CSP算法的局限性,针对EEG的时、频信息,Yu等 [ 28 ] 通过改进局部时间共空间模式(local temporal common spatial pattern,LTCSP)算法,进行流形建模,实现了EEG时、空域的同时优化,其分类准确率较CSP算法显著提升。
2.3. 稳态视觉诱发电位
基于SSVEP的BCI系统因具有高准确率、高信息传输率以及高信噪比的优点而被广泛应用。在SSVEP信号解码方面,过去多数研究使用典型相关分析(canonical correlation analysis,CCA)或多变量同步指数(multivariate synchronization index,MSI)等无训练方法进行特征提取,这类方法虽然分类效果不错,但易受到自发脑电的影响,也没有用到信号的相位信息。基于此,Nakanishi等 [ 29 ] 将任务相关成分分析(task-related component analysis,TRCA)应用于脑电信号的特征提取,它能够充分利用相位信息,且其构建的空间滤波器可有效去除背景噪声,提升了脑电信号的信噪比,从而提高了SSVEP诱发特征的分类准确率。
3. 共享控制策略
目前,BCI控制系统的研究主要集中于脑电特征解码算法,通过不断优化和创新,脑电识别准确率有了很大的提高,但由于直接控制策略的局限性,只能实现对外设的简单控制。而且针对不同的外设和复杂环境,所需的控制方式也全然不同,仅通过直接控制策略很难达到预期的精细控制效果。所以研究者引入共享控制策略来弥补直接控制对复杂系统的局限性,使外设安全、稳定、高效地完成预期任务。本章主要介绍机器视觉(machine vision,MV)、强化学习、自动路径规划等方法与BCI技术相结合的共享控制策略及其应用效果。 图4 所示为几种典型的共享控制方法, 图4a 为基于机器视觉的方法 [ 30 ] , 图4b 为基于强化学习的方法 [ 19 ] , 图4c 为基于路径规划的方法 [ 31 ] 。同时在 表1 中对不同的非侵入式BCI共享控制策略进行了简要汇总。
Typical shared control methods
典型的共享控制方法
a. 机器视觉方法;b. 强化学习方法;c.路径规划方法
a. machine vision methods; b. reinforcement learning methods; c. path planning methods
表 1. Brief summary of shared control strategies based on non-invasive brain-computer interface.
基于非侵入式脑机接口共享控制策略的简要汇总
3.1. 基于机器视觉融合
随着机器视觉技术的逐步发展,采用摄像头进行物体形态识别、场景建模的相关应用越来越多,利用机器视觉处理摄像头拍摄的照片和视频,能够从中准确识别待测物体信息进行快速分析和决策。目前大多数学者通过将机器视觉与BCI技术融合,达到对目标物的快速识别和自动抓取的目的,从而大大提高BCI用户的控制效率 [ 32 - 33 ] 。例如,Zhang等 [ 34 ] 设计了一套机器视觉结合MI,利用异步控制机械手和机械臂成功实现避障和自动抓取的系统,它可以根据Kinect的视觉反馈来规划机器人手和手臂的运动路径。Yang等 [ 35 ] 设计了一种基于MI和机器视觉引导机械臂系统,用户通过MI-BCI将机械臂移动到目标附近,随后利用机器视觉精确估计目标位置,机械臂将自动完成目标抓取任务。
3.2. 基于强化学习融合
强化学习是智能体(Agent)以“试错”的方式进行学习,通过与环境进行交互获得的奖赏指导行为,目标是使智能体获得最大的奖赏。随着研究者对人在环路(human-in-loop)中控制模式的兴趣日益浓厚,将BCI与强化学习进行融合可用于开发以人为中心的辅助控制技术 [ 36 - 37 ] 。如Batzianoulis等 [ 38 ] 将基于高斯过程的逆强化学习与错误相关电位(error-related potential,ErrP)的BCI相结合,推断用户偏好并更新避障控制器的输出指令,从而生成机器人运动轨迹。Kar等 [ 39 ] 采用强化学习来调整概率学习自动机的状态-动作概率矩阵,并设计了一个简单的室内游戏,即将球穿过固定在可变云台上的环,机器人可以利用有收敛概率分数的学习自动机自主训练用户玩游戏,成功率在90%以上。
3.3. 基于自动路径规划融合
随着现代制造业的发展,机器人的应用场景越发复杂,将自主路径规划与BCI控制结合是共享控制策略的重要手段,同时也是确保脑控外设能够安全精准实现目标任务的关键。常用的路径规划算法有人工势场法、A*算法、快速扩展随机树算法(rapid-exploration random tree,RRT)等。人工势场算法是由Khatib提出的一种虚拟力法,它的基本思想是根据目标对移动机器人产生的“吸引力”与障碍物对移动机器人产生的“排斥力”通过计算合力来确定移动机器人的运动轨迹,这种方法虽然计算简单,但是容易陷入局部极值点的问题 [ 40 ] 。相关研究表明自动路径规划在脑控机器人的运动控制系统应用中具有优良的效果 [ 41 - 43 ] 。例如,RRT算法在机器人路径规划领域,尤其是高维环境(机械臂、飞行器)的规划中占有重要的位置。Schröer等 [ 44 ] 将RRT算法应用到脑控机器人运动系统,能够使机器人快速导航到指定位置,并完成饮水抓取任务。
4. 控制策略评价
4.1. 直接控制
采用直接控制策略对外设进行控制,其控制精度主要取决于BCI的范式、用户的脑电信号质量、解码算法的性能等。相较于其他类型的BCI,SSVEP-BCI具有高信噪比、高信息传输率、较少或无需训练的优势,但用户需要实时注视刺激界面,过长时间的低频闪烁会引起用户的视觉疲劳,导致EEG信号质量下降,甚至可能诱发癫痫。在MI-BCI中,用户运动意图的产生不需要依赖外部刺激,且没有明显的运动输出,可以实现真正意义上的“所思即所动”,但若想得到较好的控制精度则需要用户进行大量的训练,同时MI范式的指令数量有限,控制自由度较低 [ 45 ] 。单一的P300范式具有较强的普适性,只需改变特征参数就能够在短时间内适用于感觉通路完整的用户,而且不需要训练,但P300的信噪比低,需叠加多个试次用于突出信号特征,这会导致P300的实时性较差。与单个范式相比,基于多模态的混合BCI直接控制系统虽然结合了不同类型BCI的优势,但在多范式下需要特定的信号如肌电、眼电等作为切换信号,增加了用户的认知负担,同时数据处理和特征融合等问题不易解决 [ 46 - 47 ] 。
4.2. 共享控制
在利用共享控制策略的系统中,用户通过与机器相互配合、相互协作输出被控对象的控制指令,该指令既包含用户的脑电信息,又有机器的智能辅助。理论上,不同用户的EEG信号质量和对控制系统的熟练程度存在较大的差异,导致用户的控制质量各不相同。Lopes等 [ 48 ] 根据训练结果,将用户分为初学者、一般和熟练三种水平,根据这个分类来定义模糊规则,所设计出的模糊共享控制器充分考虑了不同用户的控制水平。
共享控制策略的第一个优势在于控制精度高。在复杂的任务和环境下,对脑控系统的控制精度要求较高,直接控制策略难以实现对被控对象的精细操控 [ 49 ] ,共享控制策略通过与机器视觉、室内定位、自动驾驶等辅助控制技术结合,可充分发挥机器智能的优势,极大地提升BCI控制系统的控制精度。第二个优势在于系统的执行效率高。在利用直接控制策略执行任务时,用户需多次输出控制指令才能在不同环境下进行目标校准,这样会导致执行效率的降低,引起用户的不适。而利用共享控制策略,用户只需准确输出较少指令就能完成任务,提高了执行效率。第三个优势在于安全系数较高。用户在使用康复机器人和辅助机器人时,确保用户人身安全至关重要。由于用户的脑电信号存在信噪比低、易受干扰等特点,存在误触发的可能。共享控制策略中由于存在机器智能,可以在紧急情况下避免危险,为用户提供安全保障。但共享控制策略也存在不足,在脑控游戏、神经康复等领域用户的大脑参与度较低,无法提供足够的脑控感观。对两类控制策略的简单比较如 表2 所示。
表 2. A simple comparison of two types of control strategies for non-invasive brain-computer interfaces.
非侵入式脑机接口的两类控制策略的简单比较
缺点:直接控制 BCI 的准确率、信息传输率欠佳,输出命令数量有限,系统稳定性有待提高。当完成较为复杂的控制任务时,会给用户带来巨大的认知压力和精神负担 SSVEP 机械臂、无人机等 CCA、TRCA、LDA SSVEP-BCI 操作简单、记录时间短、采集电极数量少、较少或无需训练、信息传输率高 机械臂、游戏等 CSP、SVM、MLP MI-BCI 需要训练但不需要依赖外部刺激,无法做到连续控制 拼写器、轮椅等 SWLDA、TRCA、SVM 与单个范式的 BCI 控制系统相比,指令数量、检测速率、控制精度有所提高,但信号特征融合较难,会增加用户的脑控负担 机械臂、机器人等 BCI 算法、机器视觉、神经网络 机器视觉实现目标获取和目标定位,BCI 用于机器人的运动或引导作用 优点:共享控制能减轻用户控制负担,可以实现机器人的精细控制,减少用户发指令的工作量
缺点:在多任务中,会出现时敏性不足、信息过载等问题,同时用户的参与度不高,注意力分散,缺乏 BCI 的沉浸式体验 机器人、轮椅等 RBF、BCI 算法 推断用户偏好并更新避障控制器的输出指令,从而生成机器人运动轨迹 机械臂、机器人等 BCI 算法、A* 算法、RRT 算法 路径规划算法可实现机器人的主动避障和目标点达到,BCI 用于目标获取
因此,针对不同任务、不同领域,研究者需要综合考虑实验环境、控制目的和用户需求来选取合适的脑控策略。简而言之,共享控制策略更适合运用在复杂需求环境下的机器人控制,而直接控制策略由于其沉浸式体验适合用在神经康复等助疗领域。
5. 分析和展望
现阶段BCI控制策略面临的主要问题是:如何在复杂外部环境和控制任务下,提高外设的控制精度和用户的使用舒适性。就直接控制策略而言,虽然有较好的沉浸体验,但指令集有限、信息传输率低,无法实现对外设的复杂控制。而共享控制策略整合了人的感知、认知能力和机器强大的运算和存储能力,可充分发挥机器智能的优势,完成一些精细控制和复杂度较高的任务。
作为一种新兴的学科交叉研究领域,BCI控制系统既有广阔的发展前景,也面临诸多严峻的挑战,下面对未来脑控策略的进一步研究和发展提出一些方向与展望。
(1)就直接控制策略中存在的系统指令集有限、信息传速率欠佳等问题,可以探索和发展新的脑电范式和更优的解码算法,以求得到可分性更强的脑电信号模式,继而拓展BCI控制系统的应用范围。
(2)对于共享控制策略,在过去的几年里,基于BCI的人机共享控制技术得到了较快的发展,但仍有诸多不足,大多数的共享控制只是简单的分时共享,无法真正体现人机共生关系,因此需要设计更为灵活的人机智能融合框架来实现更高层次的人机混合智能。
(3)面向单用户或单智能体的BCI控制系统日益成熟,但多智能体和多用户协同控制仍处于起步阶段,设计多智能体和群体共享控制策略可以将每个个体结合起来,实现多个智能体彼此之间的合作与竞争,使脑控系统具有更好的协作性。
综上所述,随着我国残疾和老龄化人群的日益庞大,迫切需要开发出符合需求的辅助康复机器人。如今,BCI控制系统已经在人机交互、智能传感、目标识别等技术上取得了长足的进步。未来,基于共享控制策略的BCI控制系统可以与多智能体、自适应以及异步等方法相结合,从而多方面提升脑控系统的性能,解决医疗康复领域的一些难题。
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献声明:曹洪涛为综述主要撰写人,完成文献资料的整理收集与分析,以及论文初稿的撰写;钟子平、陈远方、梅杰、李昂参与文献资料分析与论文修改;许敏鹏参与论文的修改与指导;明东参与论文的指导与审校。
Funding Statement
国家自然科学基金(81925020,62122059,61976152);国家自然青年科学基金(62006014);济南市“新高校20条”引进创新团队项目(2021GXRC071)
The National Natural Science Foundation of China
References
1. Abiri R, Borhani S, Sellers E W, et al A comprehensive review of EEG-based brain–computer interface paradigms. J Neural Eng. 2019;16(1):011001. doi: 10.1088/1741-2552/aaf12e. [ DOI ] [ PubMed ] [ Google Scholar ] 2. Branco M P, Pels E G M, Nijboer F, et al Brain-Computer interfaces for communication: preferences of individuals with locked-in syndrome, caregivers and researchers. Disabil Rehabil Assist Technol. 2021:1–11. doi: 10.1080/17483107.2021.1958932. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 3. Xu Minpeng, He Feng, Jung T P, et al Current challenges for the practical application of electroencephalography-based Brain-Computer Interfaces. Engineering. 2021;7(12):1710–1712. doi: 10.1016/j.eng.2021.09.011. [ DOI ] [ Google Scholar ] 4. Han C, Xu G, Xie J, et al Highly interactive brain computer interface based on flicker-free steady-state motion visual evoked potential. Sci Rep. 2018;8(1):1–13. doi: 10.1038/s41598-018-24008-8. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 5. Wang M, Li R, Zhang R, et al A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 2018;6:26789–26798. doi: 10.1109/ACCESS.2018.2825378. [ DOI ] [ Google Scholar ] 6. Zhang X, Hui L, Wei L, et al A bibliometric analysis of human-machine interaction methodology for electric-powered wheelchairs driving from 1998 to 2020. Int J Public Health. 2021;18(14):7567. doi: 10.3390/ijerph18147567. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 7. 戴廷飞, 刘邈, 叶阳阳, 等 人机共享控制机器人系统的应用与发展. 仪器仪表学报. 2019;40(3):62–73. doi: 10.19650/j.cnki.cjsi.J1804563. [ DOI ] [ Google Scholar ] 8. Pan J, Xie Q, Qin P, et al Prognosis for patients with cognitive motor dissociation identified by brain-computer interface. Brain. 2020;143(4):1177–1189. doi: 10.1093/brain/awaa026. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 9. Chamola V, Vineet A, Nayyar A, et al Brain-computer interface-based humanoid control: A review. Sensors. 2020;20(13):3620. doi: 10.3390/s20133620. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 10. Oralhan Z A new paradigm for region-based P300 speller in brain computer interface. IEEE Access. 2019;7:106618–106627. doi: 10.1109/ACCESS.2019.2933049. [ DOI ] [ Google Scholar ] 11. Ratib S A smart brain controlled wheelchair based microcontroller system. Int J Artif Intell Appl. 2019;10(5):67–85. [ Google Scholar ] 12. Tang J, Liu Y, Hu D, et al Towards BCI-actuated smart wheelchair system. Biomed Eng Online. 2018;17(1):1–22. doi: 10.1186/s12938-017-0432-x. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 13. Jeong J H, Shim K H, Kim D J, et al Brain-controlled robotic arm system based on multi-directional CNN-BiLSTM network using EEG signals. IEEE Trans Neural Syst Rehabil Eng. 2020;28(5):1226–1238. doi: 10.1109/TNSRE.2020.2981659. [ DOI ] [ PubMed ] [ Google Scholar ] 14. Aggarwal S, Chugh N Signal processing techniques for motor imagery brain computer interface: A review. Array. 2019;1:100003. [ Google Scholar ] 15. Papanastasiou G P, Drigas A, Lytras M, et al Brain computer interface based applications for training and rehabilitation of students with neurodevelopmental disorders. A literature review. Heliyon. 2020;6(6):e04250. doi: 10.1016/j.heliyon.2020.e04250. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 16. Wang X, Lu H, Shen X, et al Prosthetic control system based on motor imagery. Comput Methods Biomech Biomed Engin. 2022;25(7):764–771. doi: 10.1080/10255842.2021.1977800. [ DOI ] [ PubMed ] [ Google Scholar ] 17. Duan X, Xie S, Xie X, et al Quadcopter flight control using a non-invasive multi-modal brain computer interface. Front Neurorobot. 2019;13:23. doi: 10.3389/fnbot.2019.00023. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 18. Xu Minpeng, Han Jin, Wang Yijun, et al Implementing over 100 command codes for a high-speed hybrid Brain-Computer Interface using concurrent P300 and SSVEP features. IEEE Trans Biomed Eng. 2020;67(11):3073–3082. doi: 10.1109/TBME.2020.2975614. [ DOI ] [ PubMed ] [ Google Scholar ] 19. Deng X, Yu Z L, Lin C, et al Self-adaptive shared control with brain state evaluation network for human-wheelchair cooperation. J Neural Eng. 2020;17(4):045005. doi: 10.1088/1741-2552/ab937e. [ DOI ] [ PubMed ] [ Google Scholar ] 20. Zheng W, Liu Q, Cen K, et al Brain-robot shared control based on motor imagery and improved Bayes filter// 2019 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM) Hong Kong: IEEE. 2019:139–144. [ Google Scholar ] 21. Xu M, Xiao X, Wang Y, et al A brain–computer interface based on miniature-event-related potentials induced by very small lateral visual stimuli. IEEE Trans Biomed Eng. 2018;65(5):1166–1175. doi: 10.1109/TBME.2018.2799661. [ DOI ] [ PubMed ] [ Google Scholar ] 22. Wang K, Xu M, Wang Y, et al Enhance decoding of pre-movement EEG patterns for brain–computer interfaces. J Neural Eng. 2020;17(1):016033. doi: 10.1088/1741-2552/ab598f. [ DOI ] [ PubMed ] [ Google Scholar ] 23. Meng J, Xu M, Wang K, et al Separable EEG features induced by timing prediction for active brain-computer interfaces. Sensors. 2020;20(12):3588. doi: 10.3390/s20123588. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 24. Jin J, Fang H, Daly I, et al Optimization of model training based on iterative minimum covariance determinant in motor-imagery BCI. Int J Neural Syst. 2021;31(07):2150030. doi: 10.1142/S0129065721500301. [ DOI ] [ PubMed ] [ Google Scholar ] 25. Jeong J H, Kwak N S, Guan C, et al Decoding movement-related cortical potentials based on subject-dependent and section-wise spectral filtering. IEEE Trans Neural Syst Rehabil Eng. 2020;28(3):687–698. doi: 10.1109/TNSRE.2020.2966826. [ DOI ] [ PubMed ] [ Google Scholar ] 26. Mishuhina V, Jiang X Feature weighting and regularization of common spatial patterns in EEG-based motor imagery BCI. IEEE Signal Process Lett. 2018;25(6):783–787. doi: 10.1109/LSP.2018.2823683. [ DOI ] [ Google Scholar ] 27. Deng Y, Li Z, Wang H, et al Local temporal joint recurrence common spatial patterns for MI-based BCI// 2020 IEEE 4th Information Technology, Networking, Electronic and Automation Control Conference (ITNEC) Chongqing: IEEE. 2020;1:813–816. [ Google Scholar ] 28. Yu Z, Ma T, Fang N, et al Local temporal common spatial patterns modulated with phase locking value. Biomed Signal Process Control. 2020;59:101882. doi: 10.1016/j.bspc.2020.101882. [ DOI ] [ Google Scholar ] 29. Nakanishi M, Wang Y, Chen X, et al Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis. IEEE Trans Biomed Eng. 2017;65(1):104–112. doi: 10.1109/TBME.2017.2694818. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 30. Zhang Z, Huang Y, Chen S, et al An intention-driven semi-autonomous intelligent robotic system for drinking. Front Neurorobot. 2017;11:48. doi: 10.3389/fnbot.2017.00048. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 31. Abdulkarim H, Al-Faiz M Z Brain-controlled wheeled chair path planning for indoor environments. Int J Simul Syst Sci Technol. 2021;22(1):10.2. [ Google Scholar ] 32. Xu Y, Ding C, Shu X, et al Shared control of a robotic arm using non-invasive brain–computer interface and computer vision guidance. Rob Auton Syst. 2019;115:121–129. doi: 10.1016/j.robot.2019.02.014. [ DOI ] [ Google Scholar ] 33. Tang J, Zhou Z A shared-control based BCI system: for a robotic arm control// 2017 First International Conference on Electronics Instrumentation & Information Systems (EIIS) Harbin: IEEE. 2017:1–5. [ Google Scholar ] 34. Zhang W, Sun F, Wu H, et al Asynchronous brain-computer interface shared control of robotic grasping. Tsinghua Sci Technol. 2019;24(3):360–370. doi: 10.26599/TST.2018.9010111. [ DOI ] [ Google Scholar ] 35. Yang C, Wu H, Li Z, et al Mind control of a robotic arm with visual fusion technology. IEEE Trans Industr Inform. 2017;14(9):3822–3830. [ Google Scholar ] 36. Schiatti L, Tessadori J, Deshpande N, et al Human in the loop of robot learning: EEG-based rewardsignal for target identification and reaching task// 2018 IEEE International Conference on Robotics and Automation (ICRA) Brisbane: IEEE. 2018:4473–4480. [ Google Scholar ] 37. 张腾, 张小栋, 张英杰, 等 引入深度强化学习思想的脑-机协作精密操控方法. 西安交通大学学报. 2021;55(2):1–9. doi: 10.7652/xjtuxb202102001. [ DOI ] [ Google Scholar ] 38. Batzianoulis I, Iwane F, Wei S, et al Customizing skills for assistive robotic manipulators, an inverse reinforcement learning approach with error-related potentials. Commun Biol. 2021;4(1):1–14. doi: 10.1038/s42003-020-01566-0. [ DOI ] [ PMC free article ] [ PubMed ] [ Google Scholar ] 39. Kar R, Ghosh L, Konar A, et al. EEG-induced autonomous game-teaching to a robot arm by human trainers using reinforcement learning. IEEE Trans Games, 2021: 1. DOI: 10.1109/TG.2021.3124340. 40. Zhang D W, Meng S S, Deng J C Research on formation control and cooperative collision avoidance of multi-mobile micro-miniature robots. J Instrum. 2017;38(3):578–585. [ Google Scholar ] 41. Petit D, Gergondet P, Cherubini A, et al An integrated framework for humanoid embodiment with a BCI// 2015 IEEE International Conference on Robotics and Automation (ICRA) Washington: IEEE. 2015:2882–2887. [ Google Scholar ] 42. Cao L, Li G, Xu Y, et al A brain-actuated robotic arm system using non-invasive hybrid brain–computer interface and shared control strategy. J Neural Eng. 2021;18(4):046045. doi: 10.1088/1741-2552/abf8cb. [ DOI ] [ PubMed ] [ Google Scholar ] 43. Zhang R, Li Y, Yan Y, et al Control of a wheelchair in an indoor environment based on a brain–computer interface and automated navigation. IEEE Trans Neural Syst Rehabil Eng. 2015;24(1):128–139. doi: 10.1109/TNSRE.2015.2439298. [ DOI ] [ PubMed ] [ Google Scholar ] 44. Schröer S, Killmann I, Frank B, et al An autonomous robotic assistant for drinking// 2015 IEEE International Conference on Robotics and AUTomation (ICRA) Washington: IEEE. 2015:6482–6487. [ Google Scholar ] 45. Dai W, Liu Y, Lu H, et al A shared control framework for human-multirobot foraging with brain-computer interface. IEEE Robot Autom Lett. 2021;6(4):6305–6312. doi: 10.1109/LRA.2021.3092290. [ DOI ] [ Google Scholar ] 46. Haddix C, Al-Bakri A F, Sunderam S Prediction of isometric handgrip force from graded event-related desynchronization of the sensorimotor rhythm. J Neural Eng. 2021;18(5):056033. doi: 10.1088/1741-2552/ac23c0. [ DOI ] [ PubMed ] [ Google Scholar ] 47. Han J, Xu M, Wang Y, et al ‘Write’ but not ‘spell’ Chinese characters with a BCI-controlled robot// 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC) Montreal: IEEE. 2020:4741–4744. doi: 10.1109/EMBC44109.2020.9175275. [ DOI ] [ PubMed ] [ Google Scholar ] 48. Lopes A C, Nunes U, Vaz L, et al Assisted navigation based on shared-control, using discrete and sparse human-machine interfaces// 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology (EMBC) Buenos Aires: IEEE. 2010:471–474. doi: 10.1109/IEMBS.2010.5626221. [ DOI ] [ PubMed ] [ Google Scholar ] 49. Na R, Zheng D, Sun Y, et al A wearable low-power collaborative sensing system for high-quality SSVEP-BCI signal acquisition. IEEE Internet Things J. 2021;9(10):7273–7285. [ Google Scholar ]Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University