近日，我院首届语言智能方向硕士研究生赵宇浩作为第一作者在国际知名神经科学期刊Brain Research Bulletin上正式发表题目为“Artificial intelligence based multimodal language decoding from brain activity: A review”的综述文章。该刊于1976年创办，由Elsevier出版发行，为神经科学SCI杂志（影响因子3.8，JCR排名Q2）。我院程凯文副教授为该文第一通讯作者，电子科技大学黄伟博士为共同通讯作者，天津理工大学陈彧教授为合作者。该研究是我院践行人工智能+学科群人才培养，发挥语言智能多学科交叉融合优势的一次成功尝试。

内容提要：语言是人类沟通的基本工具，也是人类独特的高级认知方式。厘清大脑如何处理和解码语言信息是揭示人类智能本质的关键问题。该文在人工智能方法视阈下，对多模态大脑语言解码研究进行了详细梳理，以促进脑机接口技术的突破。具体而言，多模态语言脑解码涉及文本、语音、图像和视频四种模态，其主要目标是使用人工智能方法训练大脑语言解码器将各种模态外界刺激引发的大脑信号转化为文本或语音。该研究总结发现，大脑活动所包含的语义信息可以在不同语言层级上成功解码，从早期的解码单词语义信息，逐渐扩展到解码脑活动中短语和句子的语义，甚至语篇信息。研究还发现，语言脑解码技术的准确率受到多种因素的影响，包括解码模型、向量表征模型、脑信号时间窗口和大脑激活区域等。该研究还进一步讨论了语言脑解码领域面临的挑战和未来的研究方向。研究指出，后续的研究应重点关注句子和语篇层级的大脑语言解码，进一步优化深度学习方法，深入探索大脑语言加工的神经机制，聚焦通用大脑语言解码器和多模态多任务语言脑解码方法的设计，努力推动脑解码技术在失语病人临床诊断和治疗上的应用。该研究为未来脑机接口技术的发展提供了重要参考，也为临床上帮助各种类型失语患者重获语言交流能力提供了重要启示。

文章：

Zhao, Y., Chen, Y., Cheng, K., & Huang, W. (2023). Artificial Intelligence Based Multimodal Language Decoding from Brain Activity: A Review.Brain Research Bulletin, 110713.