由加州大学旧金山分校神经科学家创建的最先进的脑机界面可以通过使用大脑活动来控制虚拟声道来产生自然合成的合成语音 - 一种解剖学上详细的计算机模拟，包括嘴唇，下巴，舌头，和喉。这项研究是在完整言语的研究参与者中进行的，但该技术有朝一日可以恢复由于瘫痪和其他形式的神经损伤而失去说话能力的人的声音。

中风，创伤性脑损伤和神经退行性疾病如帕金森病，多发性硬化症和肌萎缩侧索硬化症(ALS或Lou Gehrig病)常常导致不可逆转的说话能力丧失。一些患有严重语言障碍的人会学习使用辅助设备逐字拼出他们的想法，这些辅助设备可以跟踪非常小的眼睛或面部肌肉运动。然而，与每分钟100-150字的自然语音相比，用这样的设备产生文本或合成语音是费力的，容易出错并且痛苦地缓慢，通常允许每分钟最多10个字。

新系统正在医学博士Edward Chang的实验室中开发 - 描述于2019年4月24日的自然- 表明可以创建一个人的声音的合成版本，可以通过他们大脑的语音中心的活动来控制。作者说，未来这种方法不仅可以恢复与严重言语残疾的个人的流畅沟通，还可以重现一些传达说话者情绪和个性的人声的音乐性。

“这项研究首次表明，我们可以根据个人的大脑活动生成完整的口语句子，”神经外科教授，加州大学旧金山分校威尔神经科学研究所成员Chang说。“这是一个令人振奋的原理证据，即已经触手可及的技术，我们应该能够构建一种在语言丢失患者中具有临床可行性的设备。”

虚拟声乐改进自然语音合成

该研究由语言科学家Gopala Anumanchipalli博士和Chang实验室的生物工程研究生Josh Chartier领导。它建立在最近的一项研究基础上，该研究对象首次描述了人类大脑的语音中心如何编排嘴唇，下巴，舌头和其他声道成分的运动，以产生流畅的语音。

通过这项工作，Anumanchipalli和Chartier意识到，之前直接解码大脑活动语音的尝试可能只取得了有限的成功，因为这些大脑区域并不能直接代表语音的声学特性，而是协调运动所需的指令。演讲期间口和喉咙。

“声道运动与产生的语音之间的关系是一个复杂的关系，”Anumanchipalli说。“我们推断如果大脑中的这些语音中心是编码动作而不是声音，我们应该尝试在解码这些信号时做同样的事情。”

在他们的新研究中，Anumancipali和Chartier要求在加州大学旧金山分校癫痫中心接受治疗的五名志愿者 - 患有完整言语的患者，他们的大脑中暂时植入电极来绘制他们的癫痫发作来源以准备神经外科手术 - 阅读数百句话当研究人员从已知涉及语言生产的大脑区域记录活动时，大声说出来。

基于参与者声音的录音，研究人员使用语言学原理对产生这些声音所需的声道运动进行逆向工程：在这里将嘴唇压在一起，在那里收紧声带，将舌尖移到屋顶上。嘴巴，然后放松，等等。

这种声音与解剖学的详细映射使科学家能够为每个参与者创建一个真实的虚拟声道，这些声道可以通过他们的大脑活动来控制。这包括两个“神经网络”机器学习算法：将语音中产生的大脑活动模式转换为虚拟声道运动的解码器，以及将这些声道运动转换为参与者声音的合成近似的合成器。

研究人员发现，这些算法产生的合成语音明显优于直接从参与者大脑活动中解码的合成语音，而不包括演讲者声带的模拟。算法产生的句子在亚马逊机械土耳其人平台上进行的众包转录测试中可以理解为数百名听众。

与自然语言的情况一样，抄写员在给予较短的单词列表可供选择时更为成功，就像护理人员为患者可能会说出的那些短语或要求做好准备一样。抄录员准确地从25个替代词的列表中识别出69%的合成词，并且以完美的准确度转录了43%的句子。有了更具挑战性的50个单词可供选择，抄写员的整体准确率降至47%，尽管他们仍能完美理解21%的合成句子。

“我们仍然有办法完全模仿口语，”Chartier承认。“我们非常擅长合成较慢的语音，如'sh'和'z'，以及保持语音的节奏和语调以及说话者的性别和身份，但是一些更突然的声音，如'b'和'p'得到但是，与目前可用的相比，我们在这里制作的准确度水平将是实时通信的惊人改进。

人工智能，语言学和神经科学推动了进步

研究人员目前正在试验更高密度的电极阵列和更先进的机器学习算法，他们希望这些算法能够进一步改善合成语音。该技术的下一个主要测试是确定一个不会说话的人是否可以学习如何使用该系统，而无法用他们自己的声音进行训练，并将其推广到他们想说的任何内容。

该团队的一位研究参与者的初步结果表明，研究人员基于解剖学的系统可以解码和合成来自参与者大脑活动的新句子，以及算法训练的句子。即使研究人员提供了记录大脑活动数据的算法，而一个参与者只是在没有声音的情况下说出句子，系统仍然能够在说话者的声音中产生可理解的合并版本的混合句子。

研究人员还发现，声音运动的神经代码在参与者之间部分重叠，并且一个研究对象的声道模拟可以适应于响应从另一个参与者的大脑记录的神经指令。总之，这些研究结果表明，由于神经功能障碍导致语言障碍的个体可能能够学会控制以完整语音的人的声音为模型的语音假体。

“无法移动手臂和腿的人已经学会用大脑控制机器人肢体，”Chartier说。“我们希望有一天，有语言障碍的人能够学会用这种脑控制的人工声道再次说话。”

Anumanchipalli补充道，“我很自豪能够将神经科学，语言学和机器学习的专业知识作为帮助神经残疾患者的重要里程碑的一部分。”