Facebook宣布BCI新里程碑：实现几乎实时的言语意念文本键入

所述突破性研究展示了光学 BCI 在张氏实验室等临床环境和非侵入性消费应用领域中的潜能。为了继续促进光学 BCI 在整个领域的发展 ，Facebook 宣布开放相关 BCI 软件的源代码，并将头戴式硬件原型分享给研究人员和其他同行，以帮助推进这一方向的探索。同时，Facebook Reality Labs 将专注于将 BCI 概念应用到肌电图 （EMG） 研究中，以显着加快基于手腕的神经接口发展，实现直观的 AR/VR 输入。

值得一提的是 ，Facebook Reality Labs撰文回顾了相关的过程进展，下面是映维网的具体整理：

房间里挤满了加州大学旧金山分校的科学家和设备，到处都是显示器和数据线。

但他的眼睛只是盯着一个屏幕，而上面显示着三个简单的字词：“早上好！”尽管口里发不出声音，但他尝试予以回应，而屏幕马上出现了“你好”两个字。

这时，屏幕变黑，取而代之的是另一个对话提示：“你今天怎么样？”这一次，他尝试说“我很好”，而屏幕将其显示了出来。

这是一个简单的对话，但却是神经科学领域的一个重要里程碑。更重要的是，在经历了一系列中风后而导致四肢和声道几乎完全瘫痪后，这是他 16 年来第一次不必通过笨重的头戴式仪器就能“说出”自己心里的话。现在他只要试着说话，电脑就可以实时分享相关的单词，不需要任何文本键入。

Facebook Reality Labs（FRL） 的脑机接口（BCI） 项目成立于 2017 年，而最初团队设定了一个雄心勃勃的长期目标：开发一个无声、无创的语音接口，人们只需念想自希望说出的话语就可以实现相应的文本键入操作。

团队在四年的时间里取得了巨大进展，深入探索了头戴式光学 BCI 作为下一个计算平台的潜在输入方法。在另一个层面，这种方法能够允许你在 AR/VR 中以语音的速度和文本键入的离散性进行通信。除了内部努力之外，团队向加州大学旧金山分校一组致力为失语症人群开发可植入通信假体的研究人员提供支持 。Facebook 资助这项研究的目标是：确定一个每分钟能输入 100 个单词的无声界面是否可行；如果可行，又需要什么样的神经信号。这一目标与 UCSF 的研究非常吻合。

加州大学旧金山分校两年前在《自然通讯》期刊发表了第一份研究结果，首次证明可以从大脑活动中实时解码一小部分口语单词和短语。从那时起，加州大学旧金山分校又演示了利用机器学习解码从大脑到文本的完整句子。

今天，我们非常高兴地庆祝这项研究的下一章节，以及加州大学旧金山分校团队发表在《新英格兰医学杂志》的一个全新的里程碑：患有严重失语症的人第一次通过简单的语言尝试来实现几乎实时的言语念想文本键入。简单来说，通过解码从运动皮层发送到控制声道的肌肉的大脑信号，加州大学旧金山分校恢复了一个人的沟通能力。这是神经科学的一个里程碑，并且标志着张复伦 （Edward Chang） 博士在加州大学旧金山分校十年研究的大成。

加州大学旧金山分校神经外科主任 Edward Chang 博士表示：“我在加州大学旧金山分校的研究团队已经为这个（言语神经假体）目标专研了十多年。在这段时间里，我们学到了很多关于大脑如何处理语言的知识，但只有在过去五年里，机器学习的进步才让我们达到了这个关键的里程碑。再加上 Facebook 的机器学习建议和资助，我们的进展得才以加速。”

1. BCI 领域的一个全新里程碑

这个项目的最后阶段称之为 Project Steno， 于 2019 年在加州大学旧金山分校的张氏实验室启动，涉及一名在一系列中风后失去了正常言语能力的被试。被试接受了选择性手术，并在大脑表面放置电极。在研究过程中，被试直接与加州大学旧金山分校团队合作，并收集了数十小时的言语尝试。相关数据用来创建机器学习模型，并用于语音检测和单词分类。通过这项研究，尽管 16 年前的中风导致其瘫痪，但被试依然能够进行实时交流。

加州大学旧金山分校先前研究已经成功地从大脑活动中实时解码出一小部分完整的口语单词和短语，而其他张氏实验室的研究表明，系统能够以极低的单词错误率识别出显着更多的词汇量。然而，所述结果都是在被试大声说话时实现，团队不清楚当被试只是单纯念想单词时，其是否依然有可能实时解码单词。日前发表的研究结果将所有一切结合在一起，并证明了实时解码会话语音的成功。我们从 Project Steno 学到了很多，特别是当它应用于算法利用语言模型来提高大脑到文本的精确性时。

FRL 神经工程研究经理艾米莉·莫格勒 （Emily Mugler） 指出 ：“Project Steno 是第一次尝试将语音与语言模型相结合来驱动 BCI 的演示。结果说明了我们可以如何利用语言固有的统计特性来显着提高 BCI 的精确性：一个词是如何在句子构造中通向另一个词。”

就像手机使用自动更正和自动完成功能来提高文本键入的精确性一样，我们可以将相同的技术应用到 BCI， 从而提高算法预测被试念想内容的精确性。

2. Facebook 对 Project Steno 的贡献

Facebook 在整个 Project Steno 中主要提供了反馈、机器学习建议和资助，但最终是由加州大学旧金山分校设计并监督研究，并直接与被试合作 。Facebook 没有以任何方式参与研究被试的数据收集；所有数据始终保存在加州大学旧金山分校，并在加州大学旧金山分校的控制之下。显然 ，Facebook 对开发需要植入电极的产品没有兴趣 。Facebook 的资助帮助加州大学旧金山分校大幅提高了服务器容量，允许他们能够同时测试更多的模型，并获得更精确的结果。

艾米莉领导了 FRL 脑机接口团队的技术反馈，就帮助被试学习如何使用 BCI 的方法提供建议。你如何训练一个人只用大脑沟通？这是一个壮举，因为从来没有人实现过。艾米莉于 2017 年加入 Facebook。 在 BCI 项目初期，她就将职业生涯的大部分时间都集中在恢复性沟通脑机接口，为因肌萎缩侧索硬化等疾病失去言语能力的患者提供 BCI。

她指出：“看到这项研究取得成果对这个领域和我个人来说都是长久以来的梦想。作为一名脑机接口科学家，在我的整个职业生涯中，我的一个核心追求就是证明驱动语音清晰度的神经信号可以解码，从而实现更为有效的脑机接口以用于沟通交流。相关结果开启了众多辅助技术的可能性，并用以显着改善言语障碍患者的生活质量。”

加州大学旧金山分校今天公布的研究结果对辅助技术的未来有着至关重要的意义，因为这有可能帮助类似损伤患者开启会话交流。我们非常期待看到 Project Steno 在神经科学领域带来长远影响。

3. 探索 AR/VR 的高带宽交互

随着脑机接口达到这一成功的里程碑，现在是重新评估 FRL 整体脑机接口项目目标的一个好时机，同时是这项研究与更广泛的神经科学界分享的一个时机。我们一直都知道，无声语音脑机接口是一项长期的研究工作，但我们已经朝着这个目标取得了实质性的进展：我们开发了一种可穿戴原型，它使用近红外光从身体外部测量大脑中的血氧，并以安全、无创的方式间接测量大脑活动。在这个过程中，我们同时探索了感知组织运动的新方法，而这有可能重新定义非侵入性地从大脑感知内容的界限。

尽管我们相信头戴式光学 BCI 技术的长期潜力，但我们决定将精力集中在一种不同的神经接口方法，而这种方法有一条更接近市场化的道路：由肌电图驱动的手腕型设备。下面是肌电图的工作原理：当你决定移动你的手和手指时，大脑会通过运动神经元向手臂发送信号，告诉它们以特定的方式移动，以便执行诸如轻拍之类的动作。肌电图可以提取和解码相关信号，并转化为用于设备数字命令。在短期内，所述信号能够允许你以高度可靠，个性化的控制程度来与设备进行通信，并且可以适应众多情况。随着这一研究领域的发展，基于肌电图的神经接口有可能极大地扩展我们与设备通信的带宽，从而为高速文本键入等用例开辟可能性。

FRL Reaserch 负责人肖恩·凯勒 （Sean Keller） 表示：“我们正在开发更自然、更直观的方式来与随时可用的 AR 眼镜交互，这样我们就不必在与设备交互和与周围世界交互之间做出选择。我们依然处于释放手腕型肌电图潜力的早期阶段，但我们相信它将是 AR 眼镜的核心输入，而应用我们所学到的 BCI 知识将能帮助我们更快地实现这一目标。”

由于它固有的高带宽，语音是我们脑机接口研究的重点：你说话的速度比打字的速度快。但言语并不是应用这项研究的唯一用例，我们可以利用 BCI 团队的基础工作来实现基于手腕的直观控制。有鉴于此，我们不再单纯追求开发一种无声无创的语音界面。我们正在寻求基于肌电图的新型直观控制，而不是单纯基于言语念想的神经接口。

艾米莉解释道：“作为一支团队，我们已经意识到，我们用于光学脑机接口研究的生物反馈和实时解码算法可以加速我们对基于手腕型肌电图的处理。我们真的希望你能够直观地控制我们的下一代腕带。为了自信地利用这种微妙的控制方案，你需要设备给你反馈，确认它理解你的目标。为了增加另一层的精确性，我们可以使用实时解码算法，利用语言的统计特性。将这种 BCI 研究概念应用于肌电图可以帮助手腕型控制从一开始就感觉直观和有用。”

4. 前方之路

即使我们专注于 FRL 内部基于手腕的 AR/VR 输入设备，我们都希望继续支持第三方合作伙伴正在开发的头戴式光学 BCI 技术探索。所以，团队计划开放相关 BCI 软件的源代码，并与主要研究人员和其他同行分享其头戴式硬件原型，以帮助推进新的用例，比如说辅助技术。随着这个项目的发展，我们将分享更多关于我们光学 BCI 开源合作的细节。

作为一个研究组织，我们相信通过开源分享我们工作的方方面面是推动整个研究社区向前发展的一个好方法，并且对每个人而言都有利。这就是为什么我们经常发表我们的研究成果，公开分享代码，并投资于学术研究，例如我们与加州大学旧金山分校的合作。外部协作的好处对于脑机接口研究尤其明显，因为它需要在机器学习和神经科学的交叉点进行深入的跨学科研究。作为我们与张氏实验室合作的一环 ，Facebook AI Research（FAIR） 帮助加州大学旧金山分校在实时演示中使用了 Facebook 的开放源代码 “Wav2letter” 来改进其语言模型。

艾米莉评论道：“通过与学术合作者的对话，我们发现与公共领域的同行分享这项研究成果将为整个神经科学界带来更具影响力的结果。本着合作精神，为了推进脑机接口领域的发展，我们希望允许其他脑机接口研究人员使用我们的工具。我们在实验室所作的研究是最先进的，但我们知道大家一起走可以走得更远，而不是一个人走可以走得更远。”

我们同时致力于促进关于神经伦理学的公开对话，亦即研究新兴神经科学如何影响社会和个人的跨学科领域。当我们在 2020 年宣布负责任创新原则 （Responsible Innovation Principles） 的时候，我们的目标是以负责任的、以隐私为中心的方式构建下一个计算平台。但我们知道自己无法独力做到。这就是为什么我们致力于与第三方合作，并争取伦理、隐私、安全和安保方面的专家和学者的帮助，以共同构建未来的技术平台，包括神经接口。

无论是作为团队内部还是与研究团体外部合作，我们正在深化我们对神经伦理学的投资。这包括一个新的征求建议书 “Engineering Approaches to Responsible Neural Interface Design（ 负责任的神经接口设计工程方法）”，而其重点是确保未来技术平台隐私性和包容性。另外，我们同时定期参与与 NeuroRights Initiative 等组织的对话，包括促进神经技术和人工智能领域的道德创新。

多年来，我们致力于为 AR/VR 开发未来的界面。随着研究的进展，我们将继续分享更多关于相关挑战的信息。