AI语音模型与人的听觉有多相似？

图片地址：https://images.tmtpost.com/uploads/images/2023/11/5e052a1245d268dcf2c1177c74c5735e_1699424660.png

图片来源@视觉中国文 | 追问NextQuestion，编辑 | lixia对于人类来说，我们依赖大脑的听觉通路实现高效精准的语音信号处理，能够轻松实现每分钟300个汉字或者150个英文单词的自然语音识别。那么，如何建模大脑的听觉和语言环路并解析自然语音感知的神经机制？这是长久以来认知神经科学关注的重要问题。如今，计算机科学家花费了数十年才终于实现了较为接近人类水平的自动语音识别AI模型。这类纯工程的AI模型彻底抛弃了早期基于语言学理论的模型框架，完全采用数据驱动的端到端大规模预训练深度神经网络。那么，这样的模型与人脑听觉通路有多少相似性呢？针对这一问题，上海科技大学生物医学工程学院李远宁教授团队与加州大学旧金山分校Edward Chang教授及复旦大学吴劲松/路俊锋教授团队合作，融合自监督预训练深度语音模型、高密度颅内脑电、单神经元仿真模型等多种技术方法，在中英文跨语言对照实验范式下，深入研究了AI语音模型与人脑听觉通路在计算