饭来张口成真：用脑机接口操纵机械臂吃蛋糕 | 约翰霍普金斯大学

Posted 2022-07-13 QbitAl

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

不动手光动嘴，吃到一口蛋糕共分几步？

先意念控制拿叉子的机械臂，对准蛋糕叉下去。

再控制拿刀的机械臂切下一块。

最后一边旋转一边移动机械臂，把蛋糕举到嘴边，搞定。

来自约翰霍普金斯大学的这项研究，通过脑机接口让一位瘫痪30年的志愿者做到同时操纵两个机械臂。

使用刀叉对普通人来说并不难，但对于脑机接口系统来说，两个机械臂共有34个自由度需要操控。

包括肩、肘、腕的关节运动，手掌的移动和转向以及手指的控制。

并且这位志愿者是世界首位双边植入者，也就说大脑左右半球都植入了电极阵列。

解码如此复杂的神经信号，对现在的技术来说还是太难了。

这一次研究团队提出新方法，把需要操控的自由度从34个减少到了12个，并且其中大部分交给算法来处理，人类只需要同时控制不超过4个。

最终在吃蛋糕实验中，参与者可以根据自己喜好微调机械臂控制切下蛋糕的大小，实现了双手协调的精细操作。

最近公开的一份实验报告，向人们展示了这项研究中的更多细节。

把人与机器视为一个整体计算

新方法学名叫共享控制策略 （Shared Control Strategy）。

简单来说，就是在共享控制系统内部把参与试验的人类和两个机械臂视作一个人机组合，由算法统一调度。

这样一来，系统在最终操作执行环节只需要考虑两个机械臂的末端执行器（也就是手）的3D位置和3D方向。

算下来，就是3+3再乘上2两只手，一共12个自由度。

在这个系统下，关节运动的运动和手指的捏合等其它自由度都交给逆向运动学算法 （Inverse Kinematics）来求解。

更进一步，这12个自由度在任务执行过程中是动态划分的。

对于每一个特定任务，系统都会划分好执行的环节步骤，通过语音引导人类参与者最多同时控制其中的3个，大部分工作交给算法来完成。

参与实验中的是一位49岁的志愿者，他因脊髓损伤患上肢瘫痪已超过30年，肩、肘和腕部关节都只有很有限的活动能力。

在这次实验中，他需要真的尝试去移动手臂，而不是想象自己在移动手臂。

这样产生的神经信号更容易被解码，这也是在视频中会看到他运动能力受限的腕部不时有动作的原因。

最终，在共享控制策略下左右手的平均解码准确率分别为63.5%和67.6%。

总共20个测试任务，他成功执行了17个。

研究团队认为，使用共享控制策略降低操控自由度对脑机接口发展来说十分关键。

其最大的意义在于减少人需要投入的精力，降低脑机接口的解码难度，让植入电极少或精度较低的便宜方案也能受益。

One More Thing

在研究报告中，还有一个有趣的细节。

原本的20个测试任务里是不包含吃蛋糕这一项的，但是蛋糕太香了，所以志愿者主动选择要试一下。

在新方法的初级阶段，执行这样一个复杂任务并不容易，大家看到的视频演示是加速5倍播放的。

实际情况是，吃到一口蛋糕前后总共要花费90秒。

有网友表示这样适合吃火锅，烫的食物送到嘴边时候刚好也凉了。

参考链接：
[1]https://www.frontiersin.org/articles/10.3389/fnbot.2022.918001/full
[2]https://blog.frontiersin.org/2022/06/28/robotic-arms-feed-partially-paralyzed-man-bmi/