3.3 脑—机接口技术及其应用
3.3.1 脑—机接口技术介绍
3.3.1.1 背景知识介绍
大脑与外界进行通信或者对外部环境进行控制是通过神经肌肉通道进行的,一些疾病可能损伤大脑与外部环境进行交流的神经肌肉通道,使人部分或全部失去自主的肌肉控制。在无法修复受损通道的情况下,人们尝试利用其他方法进行功能恢复。例如,通过训练提高残存的运动能力,或者绕过通路的受损部位直接控制肌肉等,这些方法都取得了一定的成功。但是,上述两种方法依赖于还存在的某种残余的肌肉控制来起作用,对于失去了基本运动功能和控制交流能力的患者效果甚微。人类中枢神经系统由上千亿个神经元组成。神经元的胞体集中存在于大脑和小脑的皮层、脑干和脊髓灰质以及神经节内,这些神经元胞体通过各自的轴突和树突连接成复杂的网状结构,实现信息的传递。电生理实验表明,信息传递过程伴随着动作电位的产生,而脑部大量神经元群的同步发放会在局部皮层引起电位的显著变化,反映大脑不同部位神经细胞群的自发性和节律性的电活动随时间变化,通过电极和放大器将其记录下来,就形成了脑电信号(EEG)。EEG能客观地记录时时变化的大脑机能状态。1929年,Hans Berger第一次记录了脑的自发电位,此后的几十年里,EEG主要用于临床上神经失调的诊断以及在实验室里对脑功能进行研究。在此期间,人们也曾考虑是否能从它解读出人的思想和意图,使得人们直接通过大脑活动的方式与别人进行交流或者控制设备,而不需要通常的外周神经和肌肉通道。计算机技术的进步和脑功能研究的不断深入,为这一想法提供了必要条件。首先,基础和临床研究已经对构成EEG的信号有了一个比较详细的认识。对主要的EEG节律、各种诱发电位的位置、产生机制及其与大脑特定功能区域之间的联系,已不再模糊不清。大量的研究已经表明,EEG与实际或预动作电位以及心理任务之间存在必然的联系。其次,计算机软硬件的快速发展为多通道EEG的复杂在线分析提供了支持。再者,脊髓损伤或脑瘫会导致严重的神经肌肉失调,社会对他们需求与潜力的认识的提高,使得临床、科学及商业上有兴趣进一步改善辅助交流和控制技术。基于上述原因和条件,人们开始尝试建立一种新的、不依赖于正常的由外周神经和肌肉组成的输出通道的通信系统,实现脑与计算机和外部设备之间的直接通信,这就是脑—计算机接口(brain-computer interface, BCI),简称脑—机接口,如图3.14所示。BCI通过电极从头皮表面或颅内大脑皮层获得EEG信号,经过对信号的处理提取出反映使用者意图的信号特征,再把这些特征转化为控制设备的命令。BCI的出现,让人脑直接控制外部设备的想法成为可能,它是大脑信息输出的一种新的方式,它必须具有自调节能力,通过这种调节使输出性能达到最优。它的性能主要依赖于两个系统:一个是大脑系统,用于产生EEG,作为BCI系统的输入信号;另一个是BCI系统,它将检测到的EEG信号转换成某种命令,实现对外部设备的控制及与外界的交流。BCI研究的任务就是使BCI输出的命令以及完成的动作与使用者的意图尽可能地达到一致。
图3.14 脑—机接口示意
需要注意的是,通过EEG阅读人的思想目前是不可能的,但对某些种类的脑功能进行区分是可能的。BCI并非试图解释自发EEG,而是设法使人产生具有特定模式的容易被解释的EEG。
BCI技术将大大扩展人们控制外界交流信息的能力,从而引发传统人脑与外界信息交流方式和控制手段的革命。BCI技术更为重要的科学意义和学术价值在于,其研究和开发过程将有助于人们对大脑认知模式、信息流程和控制方式的深入理解,为人们解读大脑思维模型和意识形成机制提供崭新的研究渠道与方法。
3.3.1.2 BCI技术应用现状
BCI的概念产生于1973年,随着计算机科学和信号处理技术的不断进步,BCI技术在最近十几年得到了较为迅速的发展。由于在人机控制、康复工程、军事等领域有重要的应用价值,它已引起了全世界越来越多科学家和研究者的关注和重视。为了促进BCI技术的发展与交流,并客观地评价各种特征提取与分类方法算法的有效性,多家国际知名的BCI研究机构和大学组织了脑—机接口数据竞赛(BCI competition),于2001年、2003年、2005年、2008年成功举行了四次,吸引了包括我国在内的全世界不同领域的研究者参与,推动了BCI技术的快速发展。BCI的研究涉及脑科学、人机控制、生物医学、计算机科学、康复医学等多个学科,作为年轻的研究领域,大量复杂的问题有待解决。下面简单阐述其研究现状。
人经过反馈练习后能够自我管理慢皮层电位SCP(slow cortical potential)幅度,SCP是EEG中1 Hz以下的部分,其持续时间为0.5~10s。慢皮层电位能反映大脑皮层的兴奋性,当实验者的行为或意识活动显著时,大脑皮层的兴奋性增强,SCP发生负向变化;当实验者的行为或意识活动减少时,大脑皮层的兴奋性降低,SCP发生正向变化。德国图宾根大学的尼尔斯·比尔鲍默(Niels Birbaumer)等人基于SCP设计研发了思维转换设备TTD(thought translation device),以帮助患者实现与外界的文字交流。该系统已经在肌肉萎缩性侧索硬化患者中进行了广泛的测试,并证明能提供基本的通信能力,目前正在进行网络版的研究。健康人和瘫痪患者通过长时间的反馈训练,都能够学会自我控制SCP,使SCP幅度产生正向或负向偏移,从而使用基于SCP的BCI系统。该系统的优点是仅凭思维进行控制,不需要依赖外界刺激装置;缺点是需要较长的训练时间,通信速率也比较慢。
美国Wadsworth研究中心的研究表明,人能够学会控制μ节律与β节律的幅度。μ节律活动指8~12Hz的EEG的变化,并通常与EEG中18~26Hz的β节律有一定联系。研究表明,人能够学会控制从感觉运动皮层(sensorimotor cortex)采集的脑电μ节律与β节律的幅度,利用该节律完成一些应用,如一维光标控制、二维光标控制、回答一些简单的问题及从屏幕菜单中进行选择。利用μ节律与β节律的BCI系统,在使用时需要训练,不同使用者的训练时间也不一样,一般为几周。图3.15为利用μ节律和β节律控制光标的平移运动,可以此实现虚拟控制操作。
图3.15 利用μ节律和β节律控制光标运动
奥地利格拉茨(Graz)研究中心的研究表明,单边的肢体运动或想象运动能激活主要的感觉运动皮层,大脑对侧产生事件相关去同步电位ERD (event-related desynchronization),同侧产生事件相关同步ERS(event-related synehronization)。ERD是指当某一皮层区域活跃起来时,特定频率的节律性活动表现出幅度的降低;ERS是指当某一活动在一定时刻没有使相关皮层区域明显地活跃起来时,特定频率就表现出幅度升高。格拉茨研究中心的小组改进了两类心理作业分类的数据处理方法,并研究了五类心理作业(包括想象左手运动、右手运动、脚运动、舌头运动和计算任务)的分类,以及具有远程遥控功能的BCI系统。格拉茨研究中心将BCI用于控制虚拟键盘和假肢操作,完全瘫痪的患者通过几个月的训练也能利用该BCI系统进行文字交流。
P300电位是一种事件相关电位(event-related potentials, ERP),其峰值出现在相关事件发生后大约300ms。理论研究表明,相关事件出现的概率越小,所引起的P300电位越显著。把各备选目标用矩阵中的元素表示,让这些元素以固定的频率随机闪烁,当被试观察到想要选择的元素时,在其EEG信号中会产生相应的P300电位。1988年,伊利诺伊大学的法威尔(Farwell)和董沁(Donchin)利用P300电位设计了一种虚拟打字机口。一个6×6字符矩阵按行或列闪烁,行和列出现的次序是随机的,包含使用者想要输入字符的行或列发生闪烁就成为相关事件。通过信号处理方法找出使P300幅度最大的行和列,则该行和该列交叉点上的字符就是要输入的字符。
2003年,阿利森(Allison)和皮内达(Pineda)改进了刺激矩阵,研究了不同矩阵大小(分别为4×4、8×8和12×12)对BCI系统的影响。研究表明,矩阵越大,产生的P300电位越强,从而使分类识别更加容易,但矩阵维数增加导致训练时间加长,因此矩阵大小要根据实际需要而定。
基于P300电位的BCI的优点是,准确率通常比较高(可以达到100%),使用者无须训练就可产生P300,但P300有可能会随着时间发生变化。因此,这类BCI具有自适应调节能力是非常重要的,而且这种信号诱发方法要求使用者将精力完全集中到矩阵中,不能受外界干扰。这容易使患者产生疲劳,从而影响检测结果。
视觉诱发电位(visual evoked potentials, VEP)是指神经系统接受视觉刺激(如闪光刺激等)所产生的特定电活动。根据刺激频率的高低,可以将VEP分为瞬态VEP和稳态VEP(steady-state VEP, SSVEP)。前者的刺激间隔大于VEP的持续时间,刺激频率一般不超过2 Hz。当刺激频率超过6 Hz时,每次刺激引起的VEP在时间上会发生重叠,就形成了SSVEP。SSVEP具有明显的周期性,其频谱含有一系列与刺激频率成整数倍的频率成分。
在显示装置上显示多个选项。使用者注视希望选择的一项,通过对显示方式进行处理,可以使人在注视不同选项时产生不同的EEG信号。Sutter在1992年构建了“脑反应界面”的实时BCI系统。显示器上8 × 8的符号矩阵按照一种伪随机二进制序列进行红/绿色交替闪烁,使用者注视想要选择的符号,将测得的EEG信号与事先记录的模板比较,就可以确定使用者注视的目标。
美国ACT实验室很早就开始研究基于SSVEP的BCI系统。穆勒和朴兹(Muller & Putz)等人设计了基于SSVEP的BCI系统,用来控制电动假肢。清华大学高上凯教授的项目组深入分析了SSVEP的特征和提取方法,开发出了一个利用SSVEP实现电话拨号的实验系统,接着又开发出了基于SSVEP的具有高传输速率的BCI系统,其能够对诸如电灯、电视、电话等室内环境进行控制。
基于SSVEP的BCI有以下优点:SSVEP是人的视觉系统在外界刺激下的正常反应,几乎不需要训练;SSVEP信号比较稳定,需要的电极也比较少,在枕部最明显。但是,基于SSVEP的BCI需要使用者具有正常的视觉功能,长时间使用会造成视觉疲劳。
根据EEG的产生方式,BCI可以分为基于诱发EEG的BCI和基于自发EEG的BCI两种。诱发EEG是神经系统接受内、外界刺激所产生的自动响应。前文所述方法中,基于诱发EEG的BCI,其识别率接近100%,研究相对比较成熟。诱发EEG具有不需要使用者训练、特征提取容易、准确率高、受主观因素影响小等特点,但需要特定设备对使用者进行视觉刺激,即需要结构化的环境。基于诱发EEG的BCI也可称为被动式(不需使用者积极主动执行思维任务)或依赖式(需要外界刺激)BCI,比较适用于通信,虽然其不使用正常的大脑输出通路来携带信息,但需要检测正常脑输出通路中所携带的EEG信息并将之转换成对外控制信号。它虽然没有产生独立于传统信息交流的新渠道,但仍然不失为一种很有使用价值的新手段。基于自发EEG的BCI,其使用者仅仅通过“思想”即可实现,不需要结构化环境,但需要使用者通过训练来产生特定模式的EEG。相比于基于诱发EEG的BCI,基于自发EEG的BCI是一种更加自然、更加实用的人机接口方式。基于自发EEG的BCI也可称为主动式(使用者主动执行思维任务)、非依赖式(无须外部刺激)或独立式BCI,用于控制比较合适。它是思维意识与外界的直接信息交流,可为大脑提供全新的信息输出途径,具有更深远的科学意义。
3.3.1.3 脑—机接口研究中的关键问题
(1)EEG信号记录方法
EEG活动是在大脑和周围组织中由中枢神经系统的神经元和突触的活动所产生的电活动,它们或直接在神经元及其突触之外(用微电极或半微电极),或在大脑的表面(用硬脑膜下电极),或仅在头骨下(用硬脑膜上电极),或在皮肤表面(用头皮电极),能够以多种不同的水平被检测出来。植入电极具有较高的空间和频率分辨率,但它提供的仅是在电极附近相对较少数量的神经元和突触的EEG,通常应用于多种探索中枢神经系统功能的研究中,也应用于临床癫痫病灶的定位。植入电极放置时间较长,可以提供稳定的放置位置,有比头皮电极高很多的EEG信噪比。但是,植入电极的有创伤性使其只能应用于没有其他选择的情况下和某些少有或没有其他途径进行信息交换的个体。头皮电极的空间和频率分辨率相对较低,但它同时反映了头部较大面积的活动。它主要应用于人类身上,在神经学诊断中具有广泛的应用。因为是无创的,头皮脑电是基于EEG的BCI在逻辑上的首选。
(2)伪记的检测和消除
使用头皮电极采集EEG还能检测到来自大脑的神经元和突触外其他来源产生的电信号。例如,由眼动和眨眼产生的电活动在前脑区域很显著,且与EEG的低中频部分混叠在一起,在基于EEG的信息交换的信号中是非常明显的噪声。此外,在EEG采集过程中,往往会引入干扰较强的工频信号,它对EEG的影响极大。这些非EEG的电活动,与由运动产生的其他伪迹一样,很容易被歪曲或完全掩盖真正的EEG。因此,任何实用化的基于EEG的信息交换系统,都应防止非EEG信号对真正的EEG的干扰。而为了滤除干扰信号和保留有价值的EEG,除了采用传统的频谱分析、滤波等方法,还需要选择更合适的EEG去噪方法。
(3)特征提取与分类方法
EEG信号的特征提取和分类是脑—机接口系统最核心的部分,其实质就是信号的特征提取和模式识别分类,它把从使用者记录来的EEG信号转换为控制外界装置的输出信号。
时域分析方法主要分析EEG波形的几何性质,如幅度、均值、方差、偏歪度、峭度等,频域分析方法则主要基于各频段功率、相干等。随着信号处理技术的进一步发展,出现了经典的时域—频域分析方法。从时域—频域中提取EEG特征的信号处理方法已有多种,包括时间—空间模式分析、统计分析、混沌分析、信源分解、空间滤波方法、利用特定频带的功率谱、自回归(auto-regression, AR)模型系数、快速傅里叶变换(FFT)、单神经元分离、小波系数和双谱估计以及小波包变换等特征提取方法,提取出来的信号特征经过脑—机接口系统的转换装置后成为一系列的外部控制命令。此过程实质上是信号的模式识别或特征分类过程,目前有多种识别与分类算法,如线性识别分类方法(如LDA)、自适应高斯表达算法、差异敏感型学习向量量化器、人工神经元网络、支持向量机等。
(4)人机交互
BCI的最终目的是实现人机交互。不管利用诱发电位还是自发脑电,都要利用大脑的自适应能力。大脑像传统神经肌肉信息交换通道一样工作,应当能够调整其输出,从而改善BCI系统的性能。以上所有过程的有效性都应该从人机交互的结果来评价,这些评价包括:采集的信号能否反映被试的大脑活动;对采集信号的特征提取是不是准确;转换算法是不是有效;反馈信号对人本身有什么影响;速度与准确性等。
3.3.2 脑—机接口技术在运动想象控制中的应用
运动想象脑电处理技术是脑—机接口的重要组成部分,它在全球范围内得到越来越多的关注,其巨大的理论和实际应用价值正在逐渐被人们认可。脑—机接口技术在运动想象上的意义主要体现在以下几个方面。
(1)运动想象脑电信号研究的理论价值。人在进行不同意念想象或者思维作业的时候,会产生不同的生理特征,这些特征不仅仅可以通过医学、生理学等手段进行研究,还可以通过运动想象脑电处理技术进行分析。在人们已经了解大脑的结构和机能的基础上,运动想象脑电处理技术可以对人在从事不同的思维任务时产生的脑电信号进行分析并提取其中的有用特征。根据这些特征提取方法和不同思维任务建立的模型,我们还可以反过来研究人脑在进行思维作业时的差异和不同个体在进行同一思维作业之间的差异,进一步地了解大脑的工作机理。脑—机接口技术的研究,不仅使人的大脑与外界产生了一种新的连接方式,更是将医学生理信息与现代检测、分析、控制仪器紧密相结合,对促进计算机、数学及系统生物学等多学科的交叉应用有着明显的效果。运动想象脑电信号处理技术的研究,必然会加快人们对脑认知、脑部治疗、脑应用等方面的探索,成为在揭开大脑秘密的道路上迈出更加坚实步伐的组成部分。
(2)运动想象脑电信号在康复领域中的应用。在医疗康复领域中,有一类闭锁综合征患者,他们有自主意识但是大脑不能控制身体的自由活动。这类患者需要通过一种新的途径将自己的意图表达出来,并且能够与外部环境进行交流。运动想象脑电处理技术能够在不利用自身的神经传导组织的情况下,通过患者的带有意图的脑电波来分析并控制外部设备,它可以利用现代脑—机接口,建立一条脑与外部环境之间的新通道。一些由意外事故而导致的截肢患者,虽然能够进行言语的表达,但是不能够自由行动。当这些人需要控制外部设备辅助其行动时,脑—机接口技术可以利用人的脑电波来控制外部设备。熟练练习使用脑—机接口设备,还能够锻炼患者大脑的活跃性,更好地进行康复治疗。运动想象脑电处理技术的发展,对推动临床康复领域的研究和治疗而言,具有重要的意义。
(3)运动想象脑电信号在军事领域中的应用。运动想象脑电信号处理技术在国防军事领域也有着巨大的应用价值。美国Wright-Patterson空军基地就利用稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)进行脑—机接口的设计,实现脑电波辅助控制飞行器进行模拟飞行训练。电影《阿凡达》中,主演通过意念思维控制生化人进行各种军事行动的场景,也许在不久的将来会成为可能,这一可能也许会改变未来战争的作战形式和道德伦理观念。美国国防先进技术研究计划署(Defense Advanced Research Proj ects Agency, DARPA)就资助杜克大学2.6亿美元进行脑—机接口技术的研究。他们表示对运动想象脑电信号处理技术在军事相关领域的应用充满希望,对于使士兵通过想象控制和操纵作战工具来完成特定任务方面的应用尤其感兴趣。
(4)运动想象脑电信号在生活中的应用。运动想象脑电信号处理技术同样可以应用在日常生活中。人们可以结合无线传输技术,通过自己的意念想象,来对生活中的一些设备进行控制。这样能够方便快捷、无空间限制地完成各种控制,如操作计算机、控制电视开关、控制电话拨号等。运动想象脑电信号处理技术既能丰富人们的日常生活,还可以充分训练大脑和开发智力。通过让孩子集中精力、用意念来做游戏、参加专注力竞赛等方式训练脑的思维活跃性已经成为现实。美国美泰(Mattel)公司生产的意念控制(MindFlex)玩具,结合神念科技(NeuroSky)的脑电波生物传感器技术,利用大脑的脑电波控制海绵球在空中的高度及前进方向,来完成穿越各种障碍物的高难度动作。它还可以支持双人比赛,从而增加了娱乐性,并且获得了美国2011年玩具展最佳儿童玩具奖。运动想象脑电信号处理技术的研究成果正在慢慢地融入并丰富着我们的生活。
①运动想象脑电信号的研究现状
在离线分析方面,对于想象左右手的运动想象研究比较多,在目前的四届脑—机接口竞赛中,都有这类题目;多类运动想象主要集中在想象左手、右手、脚、舌等运动,这类运动的离线分析方法也很多。运动想象脑电信号处理研究有着重要的理论意义,推动了特征提取、模式识别算法的改进,具有客观的识别率。
目前,能够实现在线对被试脑电信号进行分析,正确反映被试意念行为的控制实例还不是很多。通过想象左右手和脚运动时产生的μ和β波信号特征变化来实现光标的三维空间移动,在线被试控制轮椅运动的例子也还不是很多。这类脑—机接口还很依赖被试的经验和长时间的训练。脑—机接口技术的研究还处于起步阶段。
②基于视觉诱发电位的运动想象脑电信号处理
视觉诱发电位是指由于外界刺激视觉系统而在大脑皮质枕叶区产生的刺激诱发电位,它是由视网膜接受刺激,传导至大脑的枕叶皮层而产生的电位变化。利用在不同的刺激模式下,人在大脑中产生的诱发电位的不同,可以测量出诱发电位和刺激之间的对应关系,推断出被试选择的模式,预测其运动想象,并控制外部设备。根据刺激信号的频率不同,刺激产生的视觉诱发电位可以分成瞬态视觉诱发电位和稳态视觉诱发电位。
瞬态视觉诱发电位的刺激频率较低,一般刺激频率不超过4Hz。这个时候在上次引起的单次刺激消失后,下一次刺激才出现,导致各个刺激响应在时域内相互不重叠,这类瞬态视觉诱发电位应用较少。
稳态视觉诱发电位(SSVEP)的刺激频率相对较高,一般刺激频率大于6 Hz。这个时候在上次引起的单次刺激未消失时,下一次刺激就已经出现了,各个刺激在时域上相互发生相应重叠。研究发现,SSEVP具有相对较好的稳定性、易于检测、传输率高、易于提取特征等优点,因此它成为一种常用的运动想象脑电处理信号。由SSEVP控制的脑—机接口系统,在控制方面设计不同频率的闪烁目标,分别代表不同的命令,被试根据自己的需要注视所想行为代表的频率闪烁,脑—机接口控制系统分析被试所产生的不同刺激电位,判断被试选择的目标,进而转化为对外部设备的控制。现有的SSVEP-BCI系统多种多样,如Bakardj ian所在的实验室利用SSVEP原理建立了一个运动想象脑机系统控制机械手。
依据视觉诱发电位建立的脑—机接口系统,具有可区分脑电模式多、传输率高、训练时间短等优点,但是它依赖被试的视觉系统,对残疾患者具有一定的局限性。同时,它需要被试接受外部刺激,会引起被试的视觉疲劳,导致运动想象脑机系统的正确识别率降低,系统的整体性能不稳定。
③基于眼动产生的alpha波的运动想象脑电信号处理
alpha波是脑电四种基本节律中的一种,频率在8~13Hz,幅值在20~100μV,它是一种自发脑电,比较容易出现。alpha波之所以能作为一种在运动想象脑电信号处理研究中判定人的意念的途径,是因为人在放松和集中注意力的时候,alpha波的幅值会发生明显变化。我们可以根据这个幅值的变化来判断出被试的意念,进而作为运动想象脑电信号处理的一个控制形式。可以最明显地改变alpha波幅值变化的动作就是睁眼和闭眼动作。当被试静息闭眼时,alpha波幅值增加;当被试睁眼时,alpha波会发生幅值明显减小的变化。通过被试自主睁眼闭眼动作控制alpha波的幅值大小,可以建立运动想象脑机系统并用于控制外部设备。
alpha波会明显出现在脑部枕部视觉皮层区,利用这一原理,澳大利亚Kirkup等人设计出了alpha波控制的电子开关运动想象脑机系统;Dewan等人利用alpha波原理设计出了能够发送Morse电报码的运动想象脑机系统;alpha波还更多地应用在运动想象脑电信号处理系统中,判断被试是否处于意念产生想象阶段。根据眼动产生alpha波幅值增减建立的运动脑机系统,优点是特征信号检测容易、特征明显、分析处理算法简单,被试几乎不需要训练;缺点是依赖视觉眼动,容易产生疲劳。基于alpha波建立的运动想象脑电信号处理系统目前应用比较广泛,在实现运动想象脑—机接口时,有着较好的应用前景。
④基于P300电位的运动想象脑电信号处理
事件相关电位(EPR)是指被试在受到一个外部刺激后,在脑部会产生一个由于刺激而引起的电位变化。P300就是事件相关电位的一种,它是Sutton在1965年发现的。当人们在受到新的刺激时,脑部会出现一种特定在接受刺激300ms后的正向峰值,故命名为P300信号。美国Farewell和Donchin设计的虚拟打印机就是一个比较典型的基于P300的脑—机接口系统。他们在屏幕上设计了一个6行6列共36个字符单元的矩阵,再以一定频率把某行或列随机加亮,当被试所想的字母被加亮时,就会产生靶刺激,单次实验会将所有行和列随机加亮一次,靶刺激和非靶刺激的比率是1∶5。通过分析P300特征信号就能知道被试关注的行和列,从而找到交叉点上的字符单元,即被试所选择的字符。基于P300的运动想象脑机系统属于依赖诱发电位的形式,它有着不需训练、特征信号明显且易于分析、识别率高等优点;但它需要有同步设备刺激,这限制了它的应用范围,特征信号P300的潜伏期和幅值易受年龄、精神状况等生理因素的影响。
⑤基于运动想象事件相关同步/去同步脑电信号处理
事件相关电位(EPR)是当人体器官受到外界一种或者多种刺激的时候,大脑的神经元集群就会产生的一种特定电信号。研究表明,不同刺激引起的EPR电活动会在脑电波的特定频率上产生能量的变化,这种变化主要体现在特定频率信号的增加或者减少上,它是由于人身体不同的部位在大脑中活跃的区域和产生EPR的频率不同而造成的生理现象。当EPR出现的时候,大脑皮层的特定频率会出现节律性活动能量降低,这种现象叫作事件相关去同步(ERD);反之,当出现特定频率的节律性活动能量升高时,这种现象叫作事件相关同步(ERS)。
人们在进行肢体活动甚至在想象肢体活动的时候,都会使大脑皮层运动中枢的大量神经元的活动状态发生改变,产生事件相关同步或者事件相关去同步。运动想象不依赖外界的刺激,且不需要也不依赖被试的视觉或者听觉功能。研究发现,即使是具有严重肢体障碍的患者,也可以通过自发运动想象得到事件相关同步或者去同步现象。虽然基于ERD/ERS的脑—机接口系统存在传输率低、识别类别较少等缺点,但是其自发性和不依赖外界刺激、不依赖自身感知器官等特性,使其在实际应用中具有十分重大的现实意义。
3.3.3 脑—机接口技术的未来应用展望
作为一个新的研究领域,BCI研究涉及多个学科之间的通力合作,并且在不同的研究阶段对BCI也会有不同的要求,但最终目标往往都是实现BCI作为一种交流和控制的工具。根据国内外的相关文献,BCI研究未来有望在以下方面取得进展。
(1)神经生理现象的研究。基于运动想象模式的脑—机接口是目前BCI研究中的热点,因为它有明确的神经生理现象作为基础,如ERD/ERS和MRP等。BCI系统使用的神经生理现象都是基于实验观察得到的,故进一步的神经生理研究将有助于提出新的BCI范式和产生新的模式。此外,在一些BCI实验中(如ERD/ERS),有一定比例的使用者被称为“BCI盲”,他们没有明显的ERD/ERS现象。“BCI盲”的产生是由于大脑结构的差异还是别的原因,目前还没有相关的结论。
(2)特征提取和模式分类的融合。在特征提取方法中,除了目前得到较多研究的降维方法,如PCA、ICA、局部线性投影和CSP外,还可以发展基于核和基于流形的非线性降维方法。如在流形学习中,非线性主要强调的是局部性,而运动想象的特征分布不仅在空间位置上具有局部性,在时间过程和频率域上也有局部性(差异主要集中在μ节律和β节律)的特点。因此,可以考虑应用流形学习的思想并结合先验信息,挖掘这些局部信息,和全局信息进行联合,以得到更好的结果。特征的联合是特征提取的另一个方向,两个相互独立或者相关性不大的特征联合往往可以得到更好的结果。特征之间的互补,如表征空间能量分布的带通能量信息和表征空间同步情况的相位信息,可以提供更为完整的信息,以实现更好的分类。另外,如何同步进行特征提取和分类,以便在这两个本来相互独立的过程中进行信息的交换、反馈,从而达到最佳的效果,也是未来发展的方向。
(3)半监督学习的应用。BCI中的大多数分类方法是有监督的学习方法,在未来发展中,如何有效地提取蕴含在大量无标签数据中的有用信息,以提高系统的性能和减小使用者的训练时间,是一个重要的研究方向。半监督方法是在有监督训练的基础上对分类器的一个局部更新过程,在实时系统的搭建中,不同的使用者个体差异很大;同时,由于EEG的不平稳性,即使是同样的任务、使用者,信号也会随着年龄、心情、动机、情绪、疲劳、环境情况、使用时段、使用策略等的不同而不同。因此,基于半监督学习的自适应调整是值得研究的一个重要方向。
(4)实时在线系统的搭建。要真正实现BCI的应用价值,实时系统的搭建是必需的环节。要实现实际可用的BCI系统,不仅对用于BCI的EEG信号处理算法有要求,而且对实验的设计模式(如有无反馈、反馈的形式等)、人机交互形式等都有更高的要求。特别是在BCI反馈学习的研究中,在任务执行中是否需要反馈和以何种方式反馈还有一定的争议。如何让大脑和计算机这两个智能系统相互影响、相互依赖,朝着更加和谐的方向发展等,都是BCI研究中需要深入探讨的问题。此外,发展脑机交互的实时系统,提高系统的性能,扩大BCI在复杂的现实环境中的可靠性和稳定性,可以考虑触觉、EEG、EMG、眼动等多模式的联合,以实现多模态的高速高稳定的控制。多种感觉信号的参与将有助于更好地判断使用者的真正意图,但也涉及多类数据的同时记录、高速处理、信息融合、模型设计、相互干扰控制、综合系统的复杂度增加等问题,故需要进一步深入研究。此外,在在线系统的反馈研究中,也可以尝试采用多模态的反馈形式(视觉、听觉、触觉等),并探讨相关的功能意义和实现的途径。
(5)航天领域的潜在应用。欧洲航天局先进概念团队2005年的一项研究列举了可使用脑—机接口控制的太空机器人系统,包括:控制机器人代替航天员进行舱外活动;远程控制自动装置(应用在探测、维修和维护中);无须用手实现对舱内装置和设备的直接控制。同时,该研究也提到将脑—机接口与其他交互技术相互结合,例如,利用肌电信号(EMG)控制外骨骼,其中肌电信号是采自肌肉而非大脑的电信号。又如,在舱外活动服内部实现对环境的控制和外部操作,使用一个脑—机接口执行多个操作从而使航天员的效率最大化。Broschart等人认为,行星表面探测车和半自动的机械手是太空操作中和脑—机接口最为相关的领域。
舱外活动通常是为了执行设备的安装、移动和维修任务。减少舱外活动是很有必要的,因为它通常比其他操作具有更大的危险性,而且需要大量的地面训练和费时的舱外活动前准备过程。自动机器人可以完成一些任务,但其灵活性和适用性不足以替代很多舱外活动。使用传统的操纵杆和显示屏等接口,从航天器内部或者地面手动控制机器人系统完成一些任务,也能够降低对舱外活动的需求。一个成功的应用就是特殊目的灵巧机械臂(special purpose dexterous manipulator),它是国际空间站移动服务系统的一个组件,能够完成诸如组装、更换和维修等以前只能在舱外活动中完成的任务。但是,理想的机器人系统是操作者能够通过运动想象,十分精确、及时地控制机械臂的移动,就好像控制自己的手臂一样。为了能够替代舱外活动和各种已经存在的远程操纵的形式,基于脑—机接口技术的机械臂必须能够在速度、精度、安全性和灵活性上和已经实现的方法处在同一水平上。目前的脑—机接口技术离这个目标还有一定的距离,但是,近年来脑—机接口发展迅速,各种新的解码方法和控制策略不断被提出。因此,必须尽可能地考虑将这些新的方法应用到未来的脑—机接口中,并提出更多更高效的方法和策略,以使非植入式脑—机接口能够满足太空操作的需要。