多人语音中的“谁在说”不能永远只靠一段混合波形推断。口型、视线、动作与语义上下文都可能提供额外证据；但多模态系统真正的难题不是多接一个输入，而是让不同证据在噪声、遮挡和冲突时以可追溯的方式共同工作。
视觉引导应服务于分离，而非掩盖声学失败
GAANet: Global-guided Asymmetric Attention Network for Audio-Visual Speech Separation 使用全局引导与非对称注意力处理视听语音分离。其动机在于视觉线索和声学线索的时间可靠性并不相同：嘴部运动在某些瞬间极有辨识度，但也会受遮挡、侧脸和不同步影响；音频则在重叠说话与噪声中变得不可靠。非对称融合试图避免把两种模态简单等权相加。
这类架构的评测应超出合成混合下的分离分数。需要明确测试无视频、错位视频、遮挡视频、相似口型和目标不在画面中的情形，并检查系统是否在视觉证据缺失时退回稳健的声学路径。若模型只在“视频始终正确”的条件下成功，它更像受控演示，而不是可用的多模态前端。
流式说话人日志需要帧级但不能碎片化
FASTDIAR 提出面向流式 diarization 的帧级说话人编码器。传统说话人嵌入通常在相对长的片段上聚合，有利于身份稳定，却容易引入延迟；帧级表示有机会更快响应说话人切换和重叠。挑战在于它更容易被短时音素、噪声或呼吸声带偏，因此系统需同时维持跨帧平滑、持续身份状态与“此帧证据不足”的表示。
一个好的流式日志器不应只追求更快给出标签，还要说明标签何时可提交、何时会被修订、修订如何影响已写入的转写和记忆。速度若以频繁翻转身份为代价，后续检索和会议记录承担的成本会远大于几十毫秒的等待。
让声纹系统解释自己的证据
CoLMbo-SV 探索以有根据的语言模型解释说话人验证：系统不仅输出相似或不相似，还尝试将决定关联到可描述的声学和内容线索。解释不应被当成自动可信的文字包装；它必须和原始打分、置信区间、反事实扰动一起接受检验。但若做得严谨，它能帮助诊断模型究竟依赖说话人特征、信道捷径，还是文本内容等不该主导身份结论的因素。
EchoDistill 的 noisy-to-clean 自蒸馏则把鲁棒性放到音频语言模型层面：以干净音频的行为约束噪声版本的表示或输出。与视觉分离、帧级日志并列看，三者指向同一原则——额外证据和自监督目标都应帮助系统在信息不足时少犯错，而不是让它以更高置信度掩盖缺口。
多模态语音的可信度最终来自证据链能否被拆开检查：哪一模态改变了决定、在何种失配下失效、以及系统是否知道何时不该作出身份归属。比起更复杂的融合，能够回答这些问题的系统更接近真实可用。