图片来源@视觉中国
脑机接口作为一项新奇的技术,正以惊人的速度向前发展、更新迭代。它将人类的思想和机器交织在了一起,开辟了一种全新的可能。
本期访谈由陈光博士主持,他同时也是AI领域的知名博主@爱可可-爱生活,嘉宾为上海交通大学机器人研究所的助理教授李广晔博士。
(资料图)
本文通过追问形式呈现会议中的精彩内容,希望能给读者一些启发和思考。
用3个问题快速了解“脑机接口”@陈光
什么是脑机接口?脑机接口是如何运作的?
@李广晔
在媒体上,脑机接口是近几年比较热门的话题。但从实验室层面,相关研究从几十年前就已经开始了。脑机接口(Brain Computer Interface或Brain Machine Interface)实际上就是获取大脑的神经信号,通过特定的数学模型对脑电信号进行解码来理解大脑的意图,再将这种意图转化成机器控制指令,实现大脑与外部设备的交互。例如,被试通过脑机接口打字和控制光标、机械臂运动。
@陈光
这种大脑意识和信号之间的关联是有明显的对应关系,还是需要通过努力想象才能体现出一个强的脑电特征信号呢?
@李广晔
脑电信号实际上是一个很微弱的信号,以控制机械臂为例,尽量努力控制自己手臂运动的动作信号可能会更强一些,但目前也有一些研究是基于运动想象,而不是尽量努力地让身体输出运动控制相关的信号来设计脑机接口范式。
@陈光
这么说,意念和思想往往是更复杂、混沌的一种信号,所以脑机接口的解码不是执行一个生成式的任务,而是执行一个选择分类的任务(例如我想选择向左、向右运动)?
@李广晔
是的,这种信号相对来说也是比较清晰的。从技术层面上,提取迅速变化的大脑意图目前还是比较困难的。
脑机接口的前世今生@陈光
追问溯源,最早时期脑机接口的发展是怎样的?人们第一次想做这类尝试时大概是怎样一种情况?得到了怎样的结果?
@李广晔
脑电信号最早可以追溯到1929年,德国的一位精神科医生首先在人类大脑头皮表面记录到了脑电信号。1969年,真正出现了一个比较具有代表性的脑机接口研究,美国国家卫生研究院(NIH)的Fetz在猴子大脑运动区植入电极,将电极与仪表盘连接,通过对猴子上采集到的大脑信号分析解码,如果猴子控制仪表盘指针达到目标区域,就给猴子一个奖励,这个实验相对来说是脑机接口上的第一次尝试。在这个过程中,猴子也学会了通过自己的脑电信号控制仪表盘来获取奖励,这只猴子从某种意义上也是脑机接口的第一个被试。最早在1982年,出现了第一个运动控制脑机接口的工作。研究人员在猴子大脑皮层运动区植入电极,发现当猴子做不同方向的伸手运动时,记录到的神经元放电模式是不同的。研究人员则可以基于这种不同的神经编码模式,去反向解码猴子在做什么运动。
@陈光
这些早期的实验为脑机接口带来了突破性的进展,虽然实验范式比较原始,却也为后来的研究人员提供了很多启发,奠定了坚实的基础。那么,在早期的研究阶段,人们面临哪些困难与挑战?
@李广晔
早期最主要的挑战是对大脑神经机制不够清楚,以及后来逐渐发现了一些对应的现象,却不清楚该如何运用这些知识。由于当时硬件条件的限制,早期在电极类型、采集通道、采样频率上都有较多的困难。并且由于早期计算机技术不太先进,当时在采集过程中信号流失或延迟也比较严重,解码算法也相对局限。
@陈光
信号采集设备和技术、信号解码、排除噪声干扰,这些问题到今天依然是开展脑机接口研究的挑战。随着时间推移,新一代的技术给脑机接口研究带来了怎样的推动作用?
@李广晔
首先,我认为脑机接口技术的演化非常依赖于信号采集技术的发展。早期的脑机接口采用的是非侵入式的方法(例如在头皮表面贴电极),后来出现了更好分辨率和更高灵敏度传感器,使获得的信号质量得到了改善,让前端可以得到更丰富的信息。后来也逐渐发展了侵入式电极,这些电极距离神经元更近,可以获取到更加清晰的神经信号。并且逐渐出现了更高通道的电极,甚至可以达到上千通道,可以获得更大空间范围的脑电信息。信号采集技术的发展和脑机接口技术的发展是息息相关的。
然后是信号处理和解码算法的发展。也就是我们拿到信号数据,该怎么去解释这些数据。在过去,可能采用的是一些简单的线性方法,随着计算机技术发展,滤波方法、特征提取、深度学习算法的发展有效地提高了脑机接口的性能和准确性。接着就是应用拓展方面,以前的研究更多在实验室层面,目前逐渐在临床或者人工智能领域得到了应用,例如脑卒中的康复,帕金森病、儿童多动症、睡眠障碍的监测与干预。
最后就是可穿戴性方面。早期的脑机接口设备比较笨重,现在逐渐往更便携甚至无线的可穿戴设备发展。总的来说,脑机接口就是在信号采集技术、信号处理和解码方法、应用拓展和可穿戴性这几个方面上逐渐地不断发展进步。
@陈光
在技术发展领域存在一种说法叫“飞轮效应”。如李老师刚才介绍的,脑机接口在信号获取、处理、应用等方面得到了不断的发展,并且在各个技术层面形成了正反馈,即每一环都会促进其他各个环节的大幅提升,也给其他环节创造了需求。那么,目前脑机接口领域是否进入了一个准快速发展的“飞轮时期”?
@李广晔
近几年,诸如马斯克的Neuralink这类美国科技公司的发展,对于脑机接口带来了很大的宣传效果,其公司的设备在领域内也是非常具有创新性的。并且近几年,学术界和产业界合作紧密,也使得脑机接口领域得到了快速发展。
@陈光
近几年,人工智能的技术在脑机接口中扮演着怎样的一个角色?为这个领域做了怎样的贡献?
@李广晔
目前机器学习、深度学习之类的算法在脑机接口中主要应用在以下两个方面:
1、脑电信号处理上,脑电信号通常具有高维度性、复杂性,目前很多深度学习算法虽然是一个“黑箱子”模型,但相比之前手动提取特征,提取原始信号特征的效果很好,可以提高脑机接口的准确性、稳定性、快速性。
2、改善人机交互和用户体验。比如一些自然语言处理、计算机视觉或者情感识别之类的技术融合到脑机接口系统中,这样计算机可以更好地理解用户的意图和情感,大幅度提升用户体验。
@陈光
刚刚我们讨论了最早期脑机接口发展历程中的一些实验范式,那后续的发展演变中还有哪些里程碑式的节点?
@李广晔
刚刚我们谈到了1929年和1969年的两个脑机接口的代表性研究成果,之后的一些里程碑式成果如下图所示。
▷图片由李广晔博士提供
@陈光
可以看到,从动物到人,再逐渐到人实验上的精细化控制,以及信号维度上的提高、多模态感觉信号的融合上,这些节点都给我们带来了不少的惊喜。并且越往后,这些节点发生的节奏是逐渐加快的。
展望:脑机接口离我们有多远?@陈光
脑科学和神经科学的知识是否已经融合到人工智能等其他领域上,目前对于脑科学的理解和我们对于脑机接口技术、功能的进步有怎样的联系?将来有什么趋势?
@李广晔
脑机接口属于一个高度交叉的学科和技术,实际上我们对大脑信号的理解是脑机接口的基础。信号采集技术的发展促进了脑科学的进步,而脑科学的进步反过来又促进了脑机接口的发展。神经科学的探究可以帮助我们更好地了解大脑的工作原理。比如过去我们只采集运动区的信号来做运动控制系统,后来发现前额叶、顶叶等其他脑区也在运动过程中发挥作用。基于这些脑科学的知识,将来我们可以考虑构建多脑区的联合采集脑机接口系统。
@陈光
近几年脑机接口技术的突破性发展有哪些?对于未来有什么影响?
@李广晔
第一个方面,我认为近几年领域内的突破主要体现在更大空间范围和更高时间分辨率脑神经信号的采集。信号的质量是后续分析的基础和保障。随着这些更高维度的神经信息采集,我们可以做一些连续性、更加精细或更多自由度的运动控制脑机接口系统,将运动控制从离散转变成更连续、更自由的控制。
第二个方面就是长期信号稳定采集上的进展。芯片植入系统需要考虑生物兼容性问题,如何避免长期植入引发的炎症反应对信号衰减的影响是一个关键问题。目前随着新型电极材料的发展,在长期使用上带来了很大的突破。
第三个方面,自适应和闭环控制上近几年也得到了很大的突破。
@陈光
这些硬件和可穿戴性设备的突破,在医学领域有什么比较大的进展,未来在哪些方面可能具有哪些进展?对于康复治疗有什么意义?
@李广晔
目前脑机接口技术更多还是停留在实验室阶段,但长远来看,还是希望这些技术可以造福人类。医学领域的发展趋势目前集中在以下几个方面。
1、康复治疗和运动恢复,例如由身体残疾、中风、渐冻症等导致运动障碍的患者,通过脑机接口技术帮助他们与外界交互。
2、语音和沟通辅助,帮助存在语音障碍的患者实现和外界的通讯交流。
3、疾病的监测和治疗,例如癫痫、帕金森病、儿童多动症与孤独症等神经系统疾病的监测,以及监测后进行干预治疗。
@陈光
刚刚老师反复提到的非侵入式和侵入式脑机接口各有哪些?大概的机制是什么以及有什么优缺点?
@李广晔
头皮脑电信号(EEG)是直接在头皮上佩戴脑电帽采集信号,优势是相对便携且无创;再深入的就是皮层电极(ECoG),直接在大脑皮层上采集神经信号;还有一种目前比较广泛的就是立体脑电(SEEG),主要用在癫痫的术前监测,是在大脑中植入直径0.8mm的细长针状电极,且单个电极上存在多个触点,优势在于可以同时采集到皮层和脑深部的信号;最后就是通过单细胞电位记录(single unit)采集神经脉冲信号(Spikes),可以直接采集到单个神经元的放电情况。这些方法各有优劣,ECoG和SEEG采集到的是局部场电位,是多个神经元混合的信号;Spikes则是直接采集到单个或多个神经元发放的信号,时间和空间分辨率是最高的;EEG主要是头皮上大规模的混合信号。这些信号采集方式的优缺点主要体现在相应技术是否需要开颅以及时间、空间分辨率上。
@陈光
以前段时间苹果发布的Vision Pro为例,除了脑电信号,眼动、手势的数据采集和识别也可以反映人的意图,这类多模态的数据是否可以另辟蹊径,成为未来脑机接口系统构建的另一个分支?
@李广晔
这些利用人类生物传感器,如通过监测瞳孔变化识别用户感兴趣内容,包括刚刚提到的非侵入式脑机接口,未来在康复、辅助通讯、虚拟现实、娱乐等领域都有比较广阔的应用前景。例如,如果把EEG的头皮电极整合到苹果的头显内部,同时获取头皮脑电数据和其他多模态数据,可以有很多创新的应用前景。目前可以期待,但未来实现这些还是需要一些时间。
@陈光
以目前的智能手机为例,存在一些私人隐私泄露的问题,对于目前脑机接口进展中,有哪些伦理上的考虑?有哪些工作已经在防止这类伦理问题的发生?
@李广晔
目前世界范围对这个领域的伦理非常重视。
1、个人隐私和数据安全问题,需要建立相应的准则和指南。
2、用户知情权,以目前学术界为例,首先需要申请伦理许可证,实验前还需要与用户签订知情同意书,让被试知道即将做什么。
3、数据按严格要求存储,未经过用户允许不可以私自传播。目前的应用暂时不存在这个风险,未来产品落地时需要在这方面制定严格的标准。
@陈光
脑机接口作为一项相对神秘的技术,目前大众对脑机接口存在哪些比较普遍性的误解?
@李广晔
目前的脑机接口主要还是停留在实验室阶段,一闪而过的意念识别目前还是比较困难的,媒体的过度宣传容易在这方面给大众带来恐慌。同时,大脑作为非常复杂的器官,真正理解大脑未来还需要很长的路要走。在未来的实际落地中,相应的伦理法规也会完善,因此目前大家也不要过于恐慌诸如“黑客进入我的大脑”之类的问题。
观众提问Q:在您看来,脑机接口的发展目前进入了什么阶段,距离“进入千万家”还需要多远?短期来看是否可以达到类似AlphaGo或者ChatGPT这种级别人工智能的拐点?
@李广晔
从我的业内角度来说,我认为还是需要挺长一段时间的,短期内(5~10年范围内)暂时不会达到这种程度,还需要很多人的共同努力。诸如Neuralink的介入,的确会给这个领域带来一定的推动效果,但目前暂时没法给出实际的时间预测,技术还需要不断更新迭代,因此短期内应该还达不到一个新的高度。
@陈光
是的,我认为具体任务(比如刚刚提到的医疗应用)的脑机接口系统还是有望在短期内实现突破,但通用型的脑机接口系统确实存在许多困难。