【小哈划重点:1998年,我和John Chapin开始着手研究一种新的技术,我们将其称为“脑机接口”。——美国杜克大学神经生物学、神经学和生物医学工程教授,脑机接口权威专家,神经科学家。】
提到脑机接口,你会想到什么?是话题感十足的Neuralink公司研发的大脑芯片?还是电影《X-men》中X教授通过“脑波强化机”能够将他的脑电波放大,与任何地方的任何人实现连接的情节?实际上,听起来科幻感十足的脑机接口概念,已经离大家的生活越来越近了,甚至已经在一些领域,实现了划时代的应用价值,一些在我提出这一设想之初完全没能想到的重要应用。
脑机接口初设想
1998年,我和John Chapin开始着手研究一种新的技术,我们将其称为“脑机接口”。
那什么是脑机接口呢?下图是我们最初发布的用来阐释这一想法的图解。一开始,我们希望将活体动物或人类的大脑与设备直接连接,比如电子的、机械的甚至是虚拟的人造设备。它们无需放在连接对象的近旁,我们可以把它们放在另一个房间,另一个国家 ,甚至地球另一端。
当时,我和约翰的想法是,实时采集实验对象准备移动身体时大脑发出的电信号,但我们并未观察实验对象的身体活动,而是记录相应的大脑活动。再在不到1/3秒的时间里,将这一信号转化为能够发送至人造执行装置的数字指令。该装置可能就在连接对象旁边,也可能离他很远,全程可以直接通过大脑控制装置 ,无需身体参与。接下来,装置将会把包含运动想象的脑电信号转化为能够控制人工装置的电子指令。这整个过程必须在300毫秒以内完成,因为这正是从运动想象产生到身体执行的时间。
通过脑机接口精准游戏的恒河猴
最初的实验是在猴子身上进行的,之后才逐步实现了人类实验。第一个实验中,一只恒河猴学会了如何控制最初版本的脑机接口。该设备能控制显示屏上电脑光标的移动,让这只猴子和我们一样玩电子游戏。这个游戏需要猴子通过操纵杆,让光标穿过显示屏上随机出现的一个球体。
每一次光标成功穿过目标,猴子就能得到一滴喜爱的橙汁作为奖励。但它不知道的是,每次正确完成操作,我们就会记录下它大脑中100个神经元的活,然后把这些脑电信号发送给一组计算机。由它们来提取其中的运动指令,将其嵌入、然后转化为机械手臂可以理解的电子指令。
我们当时的想法是:等猴子能够非常熟练地通过操纵杆玩游戏的时候,我们就拿走操纵杆,打开脑机接口,观察猴子能否在仅靠想象,不涉及任何身体动作的情况下让机械手臂控制光标穿过目标。果然,猴子做到了。至此我们已经完成了实验的上半部分——将大脑从身体的束缚中解放出来,使之能够直接与外部世界互动。
实验用到的这个操纵杆惯性非常低 ,精准度很高。一开始,猴子用操纵杆玩游戏,就能够准确地将光标移入目标中。每一次操作完成,猴子都会得到一滴它喜欢的橙汁。猴子对游戏越来越熟练,每天玩一个小时 ,准确率能达到99%以上。这时候我们意识到,是时候首次测试一下,通过脑机接口进行实时操作了。
于是我们拿走了操纵杆,让猴子自然地坐在椅子上。我们问自己:猴子能不能弄明白 它只需要动脑想象,就可以让机械手臂控制光标,然后和之前一样得到果汁呢?来看它的操作,它做到了。猴子的身体没动,手臂也没动,只是想象着把光标移到目标内。与此同时,我们的电脑记录下猴子大脑发出的电信号,提取其中能够控制真实手臂活动的运动指令,转变其路径,使之控制机械手臂来完成游戏。
正如大家所见,逐渐地,猴子能越来越熟练地用大脑控制机械手臂完成游戏,无需任何身体动作。这只是脑机接口发展之初的情况。
在过去20多年里,我们制造出了很多不同种类的脑机接口。比如同时控制两只机械手臂的,还有控制腿部的,但接下来我要说的是其中最复杂的一种,我们称之为“脑-机-脑接口”。
由大脑直接与虚拟设备互动完成的“触觉识别”实验在此之后得以成型。这里不涉及任何机械设备,有的只是一个猴子已经将其认作自己身体一部分的虚拟设备。整个过程中猴子需要想象如何将虚拟手臂移至屏幕显示的物体上。这些物体都具有无法通过视觉识别的虚拟质感,猴子需要识别出这些质感才能得到橙汁。它需要选出触觉振动频率最高的物体,也就是摸起来类似于砂纸一类的粗糙物体,但不能用自己的手,而是要通过想象来控制一只虚拟手臂完成。
虚拟手臂在物体表面划过和虚拟质感相对应的电信号,会回传到猴子大脑中一个叫做触觉皮层的区域。该区域的作用是处理触觉信息,让我们能识别出所触摸的物体。猴子能够通过脑机接口移动虚拟手臂,然后通过另一轮控制使这一过程形成封闭回路。触觉信息从虚拟世界中传回大脑后做出选择,选出两个物体中触觉振动频率较高的那个。
大家应该都知道,声音的大小和振动频率的高低是相对应的。猴子控制着一个虚拟手指,触摸这两个触觉振动频率不同的物体,然后做出选择以获得果汁。手指划过物体,猴子看到的就只是这样的图像,但它需要选择哪个触感振动频率更高。如果它成功把手指停留在那个触感振动频率更高的物体上,就能得到一滴橙汁。值得注意的是,每个任务中两个物体的频率比是不同的,所以难度相当高。但是这只猴子做到了,就像用自己的手指完成的一样好。
巴西世界杯的尝试
观察到这一点后,我们开始意识到,距离在人类身上运用这一技术已经不远了,但有一个决定性的实验需要完成。我们需要证明,动物能够学会使用搭载了无线传输技术的脑机接口来控制一辆自动驾驶设备,载着某一对象从房间里的某一随机位置出发。到达目标位置后,再取走我们放在那里的目标物品,比如说葡萄,而整个的过程全部通过“思考”完成。
想象一下,这不是腿或者胳膊,这是一个电动轮椅,是电力驱动的移动设备,和猴子自己的身体毫无关系。所以在这个任务里,猴子需要做的不仅仅是思考如何移动,还要学会和自己以前从未见过的电动机械互动。但实验中,猴子却能够控制电动轮椅,在我们事先设定好的不同位置间穿梭。他先从某一个白色圆圈处出发,通过想象控制轮椅移动到目标地点,再拿到葡萄。
一开始,从上面看,猴子用大脑控制自动驾驶设备的移动。然后我们把猴子放到一个新的地点,它又自己设计了一个新路径,仍然能准确地到达目标位置取走葡萄。现在我们来看一下正面拍摄的影像,有了脑机接口,你就能获得美式全自动午餐。你什么都不用做,只需要到达领餐处,然后开吃就可以了。当然,你需要思考如何到达那里。剩下的就由我们,或者说由计算机来替你完成。
有了这样的发现后,我们意识到,它的意义将远远超过我38年来一直在寻找的新的大脑研究方法。或许这一发现,可以转化成新的治疗手段,用以帮助全世界2500万因为严重的脊柱损伤而在痛苦中挣扎的人们。大家可能都知道,这样的损伤一旦发生,病人就会丧失感觉和活动能力,受伤部位以下的身体无法动弹。这是因为大脑发出的包含着运动指令的电信号,无法再通过脊柱中的神经传输至身体的边缘部位。
那要如何处理这些无法在体内传输的脑电信号呢?我们的方法是使用脑机接口,从大脑中采集这种不断产生的信号,但并不指望脊柱来发挥其原本的传输作用,而是绕过这一环节。我们制造出了一种计算机电子旁路,将采集到的脑电信号绕过损伤部位,以数字形式传输至一个可穿戴式的全新机械身体中,病人可以通过大脑控制该机械身体,使其移动到某一位置。
这个想法我和John Chapin 在2002年就提出了,当时我们认为它或许在2012年底前能够实现。几年之后,巴西再次获得久违的举办足球世界杯的机会。2012年,FIFA宣布由巴西主办2014年世界杯足球赛时,我意识到可以在开幕式上做些新的尝试,而不只是来一场足球比赛。
我向当时的巴西总统做出了提议:我们可以首次在这种大型体育赛事中,加入科技展示。当年巴西世界杯的开幕式,会有65000人到现场参加,超过10亿观众收看转播。我们可以做一次脑机接口技术演示,让一名瘫痪的巴西年轻人,在首个脑控下肢机械外骨骼的帮助下为世界杯开球。
出乎意料的是这一想法真的得到了总统的应允,随即我们就开始着手准备。为此,我联系了世界各地的朋友。大约来自5个大洲、25个国家的156人把手头的事情暂时搁置10个月,带着他们的学生、专利和技术来到巴西,帮助我们制作第一个脑控下肢机械外骨骼。
我们还招募了8个脊柱损伤病人,(他们)都是从一个包含了65000名病人的巴西数据库里选出来的。这8个人都是完全性脊髓损伤患者,有的瘫痪已经超过10年,大家可以看到这里的数据,13年、11年的都有,他们受伤部位以下的身体都无法动弹。
我们设计了一个非常严苛的训练计划,让他们在世界杯之前的半年时间里,每周训练两天,每天一小时。训练首先在虚拟环境中进行,他们需要学习使用一种非侵入式的脑机接口设备。无需手术,无需植入电极,仅仅使用能够贴在头皮表面的扁平传感器,用来记录脑电信号。
病人通过观察自己的虚拟替身进行训练,该替身是一个看起来和他们相似的虚拟足球运动员,会在足球场上走动和踢球。病人们一边观察,一边学习用自己的大脑控制它的活动。每一次虚拟人物的脚接触地面,病人的手臂都会收到触觉反馈,从而再次感受到在地面行走的感觉。
当病人们能够熟练地在虚拟环境中进行操作后,我们开始让他们使用一系列世面有售的,用于脊柱损伤病人恢复的机械助行器,最后再为他们装上我们设计的外骨骼。就是我刚刚提到的那个,它是这个样子的。这是一个有着12自由度的机电外骨骼,这是病人所在的操作舱,这里还有一张病人训练的图片。另一个图片显示的是装有扁平传感器的头盔,可以贴紧头皮,来记录包含着运动指令的大脑活动。当病人想要行走或踢足球时就会产生这些活动,这些就是我们使用的,用来驱动和控制下肢外骨骼关节活动的电子和机械设备。
有意思的是,我们使用的电机能够将控制信号传送给液压管线,由此产生模拟度更高的,和人类更为相似的动作,优于一般机器人的数字和电子动作。因为病人们希望自己看上去更像普通人,走路的样子也更自然。这是该技术的另一个主要创新应用,发明人是慕尼黑工业大学的Gordon Cheng。这是一种安装于腿部外骨骼足底的印刷电路板,带有感知压力、距离和温度的传感器。
我们希望外骨骼脚部每一次接触地面时,都能向病人的前臂发送触觉反馈信号。这样,病人就能体会到到踩在地面的感觉,感受地面的触感 、硬度,踩在什么样的地面上,能走多远?甚至能接收到温度反馈。大家现在看到的是这个病人第一次尝试站立行走,在世界杯之前,8名病人都在我们的实验室里成功实现了站立行走,因为他们都学会了熟练控制外骨骼。
这是一位高位胸椎损伤病人,大家看到他的头盔在发光,表明他正在通过大脑活动控制轮轴。指令正确,他的两条腿正交替运动,他可以通过面前的大镜子看到自己站起来走路的样子。同时他的前臂能够感受到,我刚刚提到的那些足底传感器,传来的触觉反馈,这是病人瘫痪6年来第一次站起来走路。他之前是个游泳运动员,后来因为一场车祸造成胸部以下瘫痪,从他的表情就能看出,6年以后重新走路是什么感觉。这样的场景我见证了8次,可以说,那是我38年科学生涯中的高光时刻。我从没想过脑机接口可以走到这一步,但我们做到了。
这是Juliano Pinto,是在世界杯开幕式上开球的运动员,脊柱T4以下身体瘫痪已经9年,也是因为车祸。这是我们上场之前,在足球场入场的地方,这就是位于圣保罗的开幕式场地。现在大家看到的是,正式开球前Julian的最后一次试踢,大家看到我鼠标这里的蓝灯正在闪,代表着外骨骼处于启动状态。Julian把双臂放在外骨骼的扶手处,那里安装的传感器在感受到来自手臂的压力后就会启动外骨骼。之后,Julian只需要摆好身体姿势,想象踢球的动作。戴着蓝色帽子的是我的学生 ,他把球放在Julian面前,然后Julian就把球踢了出去。
2014年6月12号下午3点半整正式开球时也是这样的流程,有一件事Julian事先不知道,我们给他准备了一个小惊喜,启动了一个安装在这个位置的传感器。巴西的孩子们可能在还没出生的时候就会用足尖大力触球,在球场上没有其他办法时,足尖大力射门是最后的进球手段。所以我们在这里安装了一个传感器,但事先没有告诉他。Julian把球踢出去之后开始欢呼,我们冲上去拥抱他,大家的情绪都非常激动,整个球场都因为这个开球而沸腾了。
Julian当时喊得并不是:我踢出去了,我做到了或者我射门成功了。他喊的是:我感觉到球了,我碰到球了。因为他的大脑在经过训练以后,已经能够识别所有外骨骼上的传感器传输的信号,因此可以体验到真正的踢球的感觉。这是10年来的第一次,对于10年中一直坐在轮椅上的人来说 ,这是不同寻常的经历。
意想不到的收获
我们原以为事情到这里就结束了,但事实证明并不是。几个月以后,我们把Julian和其他7名病人重新带回实验室,进行了神经测试。之前我提到过 Julian脊柱T4以下瘫痪已经10年,这是他的脊柱损伤等级。但我们进行了神经测试后,他当天的等级评定是脊柱T11以下瘫痪。也就是说 ,经过10个月的训练,他的7节脊椎,恢复了感知 、活动和运动控制方面的功能。 之前他只能控制这个部位以上的肌肉,只有头部以下和胸椎中部以上的部位有知觉。10个月的训练结束以后,他的身体知觉恢复到了髋关节的位置,而且他也能控制这部分身体的肌肉收缩,他恢复了7节脊椎的功能。
接下来给大家介绍的这位女性病人。她的触觉 、内脏感觉和运动控制功能也得到了大幅恢复。平均来看,从启动训练开始 ,我们对这些病人进行了28个月的观察。在此期间 ,他们平均恢复了10节脊椎功能。这涵盖了身体的一大块区域,他们恢复了这部分身体的感知能力和内脏控制能力,处于这一区域的内脏有膀胱、小肠、 胃等等。
其中有一位病人怀孕了,她终于能感觉到孩子在肚子里踢她。她经历了9个月的正常孕期,能感受到胎动和子宫收缩。最后生下一个男孩,她能感受到整个妊娠期的身体变化,要归功于身体知觉的大幅恢复。
但最让人吃惊的结果在这里,这是我刚才讲到触觉恢复的时候第一个提到的病人 。她之前瘫痪11年,大家看看她在视频里的情况。这是她以前无法做到的,这是接受训练22个月以后,她在我们的要求下尝试走路的情况。这是她的表现,她在我们面前走起路来。大家看到的这些线,作用是记录她现在已经可以自主控制的肌肉活动。能做出这样的动作,表明她已经可以交替活动双腿了。在这之前和之后的一天,她都做了一小时这样的训练。所以,这些病人现在可以脱离外骨骼活动了,我们也得以记录下他们在22个月的训练后神经系统的恢复情况,从病情的临床分级角度看 ,这意味着什么呢?
这8个病人加入项目的时候都是完全瘫痪的,在我们的专业领域里,这意味着开始训练前,他们还没有恢复任何受损脊柱部位以下的身体功能。但28个月之后,其中有一位病人12个月以后就终止了训练。另外7个人坚持了下来,并且身体功能得到了专业人士之前无法想象的恢复。病情分级也变为了部分瘫痪,因为他们恢复了很大一部分运动能力和触觉。
以上成果都被整理为论文于2016年发表。过去几百年以来的专业文献里,这是第一篇记录了最高等级的脊柱损伤造成完全瘫痪10年后,病人恢复部分身体功能的论文。这些病人后来怎么样了呢?其中的3人坚持下来,继续接受我们的训练。并且增加了训练的天数和小时数,他们的身体得到了更进一步的恢复,不再需要依靠机械外骨骼行走,只需要一个小型助力车为身体提供一些支撑。根据病人情况,助力车可以支撑50%到70%的身体重量。另外还需要些一些电流辅助,我们会将微弱电流传送至病人腿部的关键肌肉 ,使之能够承受运动中自身产生的自主收缩。也就是说,3个病人获得了一定的自主运动能力。
这在以前是无法想象的,没有人想过这会成为现实。在我们的重拾行走计划开始之前,这并不是我们的目标。如果我当初把它作为目标写进资金申请书或者论文里,大家恐怕会笑话我。因为谁也没想到这些病人能够走到今天这一步,我们当时唯一的目标就是制造外骨骼帮助病人活动。但最终,完全出乎意料地,病人恢复了一定的自主活动能力。这样的结果,病人自己也从没想过。
这就说明,有时候基础科学能引领你,到达你从未想象过的地方,为你带来意料之外的发现 。为了这一天,我等了38年。因为亲眼见证了这一切,我的每一秒付出都是值得的。
(米格尔·尼科莱利斯教授(Miguel Nicolelis):美国杜克大学神经生物学、神经学和生物医学工程教授,脑机接口权威专家,神经科学家。)