“意念打字”终成真！准确率超 99%，还登上了《Nature》封面！

Posted 2021-05-21 CSDN资讯

整理 | 郑丽媛

出品 | CSDN（ID：CSDNnews）

曾经只存在于科幻作品中的“意念打字”成真了！

昨日，国际著名科学杂志《Nature》最新一期的封面是写得有些“难以辨别”的 26 个英文小写字母。老实说，如果不是按序排列，单独看“f”、“p”、“t”这几个字母的写法，要认出本体实在有些难度。

那为什么《Nature》要以这为封面呢？答案是：这 26 个字母是由一位截瘫患者通过脑机接口用意念写出来的，并且他用意念打字的速度高达每分钟 90 个字符，正确率超 99%！

从“26 键输入法”到“手写输入法”

《Nature》这期封面所指的就是这篇“意念打字”的研究论文，该项目由斯坦福大学的研究科学家 Frank Willett 领导，斯坦福大学、霍华德·休斯医学研究所的神经科学家 Krishna Shenoy 和斯坦福大学的神经外科医师 Jaimie Henderson 共同参与。

这项实验与其他实验有一点不同：全程只有一位实验对象。这位参与者是一名近 70 岁的截瘫患者，并且是十多年前因脊髓损伤导致的脖子以下高位截瘫，研究中他的代号为 T5。

为了使瘫痪的自己能尽量拥有与常人一样的行动能力，T5 在几年前同意参加名为 BrainGate 的项目研究，（注：BrainGate 即“大脑之门”，旨在利用脑机接口技术来帮助患者“恢复”一些行动能力）本次这个“意念打字”研究也是 BrainGate 项目的一部分。

在实验中，研究团队将两个微小的电极阵列植入到 T5 中大脑中控制手和手臂的部分，以此接收来自运动皮层神经元的信号。

其实最开始，研究人员是通过这种方式来训练参与者通过意念移动光标，点击虚拟键盘实现打字，但那项试验的成效并不显著。实验对象不仅需要全神贯注以确定何时执行按键操作，还要花费大量时间来学习如何控制系统，最后的打字速度也并不可观：三位肢体瘫痪的参与者中，最快的 T5 每分钟也仅能打出 40 个字符。

抱着“我们想找到让人们交流更快的新方法”想法的 Frank Willett 开始思考，如果不通过虚拟键盘，而是利用想象手写字符时产生的大脑信号是否也能实现意念打字？或许我们也可以理解为，让截瘫患者从“26 键输入法”升级至“手写输入法”。

手写打字虽难，却惊喜连连

想法虽好，落地却很难。

首先研究团队就对能否捕捉到手写的神经信号持有怀疑态度：“当我们第一次开始研究手写脑机接口的概念时，我们甚至不知道在瘫痪多年后，参与者靠想象尝试手写的动作是否仍能产生强烈和可重复的神经活动模式。”

所幸，通过测试，他们发现即使 T5 的双手已经瘫痪十多年，但在脑海中想象拿笔写字时，仍然会产生明显的神经活动模式，甚至能够展现他想写的字母！

有了这一发现，研究开始进行下一步：将脑中传感器由神经活动模式转化的书写轨迹进行分类识别。

为此，Frank Willett 他们需要设计一种新的分类算法以预测和识别 T5 靠想象手写的 26 个小写字母和 5 个标点符号。据了解，这个分类算法运用了现有的机器学习方法以及名为递归神经网络（RNN）的人工神经网络，其中 RNN 尤为擅长预测连续数据。

不过想要使 RNN 发挥强大的能力，需要事先对其进行大量的数据训练，但这对像 T5 这样的截瘫患者而言实在不易。试想健全的人尚且很难坚持连续手写大量到足以训练 RNN 的数据，更遑论要依靠想象写作的截瘫患者？

好在这一难题还是被研究团队解决了。他们采用了一种名为数据增强（Data Augmentation）的方法，将 T5 之前在脑海中产生的神经活动模式进行翻转、旋转、缩放比例等操作，产生出大量不同的数据，并且为模仿人类大脑的自然变化，他们还在 T5 的神经活动模式中引入了人为变化，以此扩展对 RNN 的训练。

最终，在研究团队的投入和 T5 的配合下，他们共同收获了喜人的结果：经测试，通过“意念手写打字”的方式，T5 目前在要求复制指定语句时，每分钟能写 90 个字符，约 18 个英语单词；在自主写内容时，鉴于需要一些思考的时间所以较慢，每分钟能写平均 73.8 个字符，约 15 个单词。

不仅如此，这种分类算法的错误率也较低：最原始 5.9% 的字符错误率和 25.1% 的单词错误率在经过预测语言模型纠正后，错误率分别低至 0.89% 和 3.4%。换言之，即字符正确率高达 99.1%，单词正确率高达 96.6%。

正如 Krishna Shenoy 所说：“与其他脑机接口相比，这个错误率相当低。”

还有不足，但值得期待

就目前看来，这项研究虽然取得了不错的成绩，但还有一定不足。

从这次的成果发表看来，意念打字的范围仅适用于 26 个英文小写字母和 5 个标点符号，包括用 > 表示空格，用 ~ 表示英文句号的“ . ”，并不包含数字、大写字母以及其他更多的标点。

此外，这场研究自始至终只在 T5 一个人身上进行了测试，并且在其大脑中植入的电极阵列说不定会由于微小的移动以及疤痕的形成，对读取神经信号的效果有所影响，因此必须要定期重新校准。BrainGate 团队也指出，该系统的“寿命、安全性和有效性”还有待进一步证明才有希望应用于广泛的临床当中。

但不论如何，这项有望帮助截瘫患者“恢复”与人顺畅交流能力的研究还是受到了很大的期待。

华盛顿大学研究人员 Pavithra Rajeswaran 和 Amy Orsborn 认为：“尽管还有很多工作要做，但 Willett 及其团队的这项研究是一个里程碑，拓宽了侵入式脑机接口应用的视野。”

有其他截瘫患者看到这项研究也激动表示希望能与研究团队联系：

有人能告诉我，我应该把申请表、报名表和费用寄到哪里吗？我四肢瘫痪，自从去年三月以来，我一次都没离开过这张床。像这样能与世界联系的事我必须参与，我真的无法用语言形容这对生活的影响。

此外，Krishna Shenoy 透露道团队接下来打算与无法说话的参与者进行合作，例如因患有肌萎缩性侧索硬化症，因而丧失运动和说话能力的人。Jaimie Henderson 也表示，希望通过这个新系统，能够帮助到更多因疾病或意外导致意识清晰却沟通困难的人们。

参考链接：

https://www.nature.com/articles/d41586-021-00776-8

https://www.biorxiv.org/content/10.1101/2020.07.01.183384v1.full.pdf

☞脉脉因“App 整改下架”事件致歉；阿里云全年营收超 600 亿；腾讯防大量群消息骚扰专利获授权|极客头条☞这个Wi-Fi安全漏洞偷跑了24年，可能危及全球所有设备！
☞我的15年操作系统开源路——RT-Thread 创始人熊谱翔