小米开源空间音频大模型，AI听觉迈入三维空间感知时代

10月15日，小米正式开源业界首个端到端空间音频理解大模型MiDashengLM-Spatial，完整开放模型权重与推理代码，采用Apache2.0开源协议，允许开发者商用、二次微调。该模型属于小米Dasheng大圣音频大模型家族，让AI不再只能听懂声音内容，还能识别声源方位、距离、移动轨迹，为“人车家全生态”的空间听觉交互打下底层基础。

一、模型核心技术架构：双分支编码器，内容+空间双理解

传统音频大模型大多会将多声道音频压缩为单声道处理，直接丢失方位信息，只能识别声音是什么，无法判断声音从哪里传来。MiDashengLM-Spatial采用创新双分支音频编码器架构，兼顾语义理解与空间感知两大能力。

语义分支沿用0.6B参数Dasheng-Huge编码器，负责识别语音、环境音、音乐内容；新增86M参数Spatial-Dasheng空间编码器，专门捕捉双耳音频的空间特征。两套分支通过分层特征注入机制联动，实现声音内容识别+三维空间推理同步完成。即便多个声源重叠混杂，模型也可以区分不同声源，判断声源远近、移动方向，推理多个声音之间的空间位置关系。

训练阶段，小米借助头相关传递函数模拟各类室内声学环境，构建100万段双耳音频场景，合计1.3万小时音频、600万组空间问答数据，覆盖人声、环境噪音、音乐等多元场景，学习声音语义与三维空间信息的关联。在STAR-Bench等空间音频评测基准中，该模型多项指标超越同类模型，声源定位、空间问答表现突出。 

二、落地场景：汽车座舱、智能家居优先受益

本次开源的模型，核心落地场景瞄准小米人车家全生态，将空间听觉能力嵌入硬件终端，重塑设备交互逻辑。

智能汽车座舱是核心场景。车辆行驶环境里会同时存在车内人声、车外鸣笛、警报、路面噪音。搭载该模型后，车机可以分辨：声音来自车内前排还是后排、异响来自车辆哪个方位，区分乘客指令与外界干扰声音，提升嘈杂行车环境下语音交互准确率，实现空间化环境感知。

智能家居空间，全屋多音箱、传感器组网后，AI可以感知房间内声音来源，判断是客厅、卧室发出的人声或异响。例如识别窗外警报声、房间异响，定位声源位置，联动全屋设备预警，实现全屋空间听觉感知。

除此之外，模型也可供耳机、AR/VR设备开发者二次开发，用于空间音频内容理解、沉浸式场景交互，为XR虚拟空间听觉提供AI底座。

三、开源协议与开发者价值

MiDashengLM-Spatial以Apache2.0协议开源，开发者可以免费获取权重、推理代码，支持商用部署、二次微调，没有强制开源衍生作品的约束。这降低了音频AI领域的研发门槛，开发者无需从零搭建空间音频模型，可直接在此基础上开发声源定位、环境感知、多声源对话等应用。

对于音频行业，此前空间音频技术更多聚焦音效渲染，而MiDashengLM-Spatial聚焦空间理解，属于感知侧的突破，把AI听觉从二维单声道理解升级到三维空间感知。开源之后，学术机构、AI创业团队、硬件厂商都可以基于这套底座，探索空间听觉新应用。

四、听觉多模态，开启空间感知新赛道

小米MiDashengLM-Spatial的开源，标志大模型的多模态竞争，从图文视觉，延伸到三维听觉空间。过往大模型多聚焦“看懂图像、听懂话语”，而空间音频大模型赋予AI空间方位感知能力，让机器具备类似人类双耳定位的听觉能力。

随着智能汽车、全屋智能、XR设备持续普及，单纯的语音问答已经不能满足需求，设备需要感知物理空间里声音的来源。本次开源，补齐国内端侧空间音频大模型的短板，开放技术底座带动行业共同探索空间听觉交互，也进一步夯实小米人车家全生态的AI底层能力。

未来，空间听觉大模型会和视觉感知相互配合，形成“听+看”的空间多模态感知，成为下一代智能硬件交互的重要技术方向。