语音增强长期被当成一个单目标问题：把噪声压下去，把语音留下来。但不同使用端真正需要的“好语音”并不相同。助听设备关心低延迟和听觉空间感，转写系统关心稳定的声学表征，合成语音的评价又不能只由一个客观分数决定。近期几篇工作把这件事讲得更具体：增强前端需要把控制、表征和评价拆开设计。
第一篇值得注意的是 Directivity-Conditioned Low-Latency Neural Filtering for Speech Enhancement in Hearing Aids。它面向严格的低时延条件，让网络在推理时通过 FiLM 条件控制滤波器的指向性，并用跨通道谱关系约束避免空间线索在增强后坍塌。它的价值不在于宣称一个万能滤波器，而在于承认“朝哪里听、听多窄”应当是运行时参数；设备姿态、干扰方向和目标位置变化时，固定的增强策略很难一直合理。
第二篇 DualSpecSE 从另一侧拆开了目标。它并行处理 Mel 表征和复数谱：前者可以直接服务识别，后者承担波形重建。这样的双出口提醒我们，给人听的波形和给 ASR 用的特征并不一定应由同一损失函数、同一个输出头来妥协。若把所有任务都压在波形质量上，识别端可能仍会输掉；反过来，若只为识别优化，听感细节又容易被牺牲。
真正需要警惕的是评价环节。The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern TTS 以及随后关于预测 MOS 的研究，都指向同一个事实：无参考质量预测器可以是有用的诊断工具，却不天然等于人的偏好，更不应在缺少审计时直接充当优化奖励。模型可能学会讨好某个预测器，而非改善真实体验。
把这些论文放在一起，可以得到一个更稳妥的设计原则：空间控制、任务表征和质量评价应是三条相互校验的链路。输出端至少应区分“可听性”“可识别性”和“空间/指向性保持”；评价端应把主观测试、任务指标与客观分数并列，而不是让单一代理指标裁决全部问题。
相关文章：别让降噪替 ASR 做决定：语音前端的反事实验收与动态路由。
指向性不是展示参数，而是声学承诺
Uphaus、Merboldt、Hofbauer 与 Gerkmann 的工作把这个问题压缩到非常苛刻的助听设备条件：算法时延为 10 ms，佩戴位置与头影效应不能被当作理想阵列的微小扰动，目标和干扰还会在运行中改变相对方位。论文采用 FiLM（feature-wise linear modulation）把方向或指向图条件送入因果 DNN，使同一模型能够在推理期改变滤波行为；同时以跨通道谱关系损失约束输出，避免网络虽然压低干扰却破坏了双耳/多通道所携带的方向信息。
这类设定值得和传统“先波束形成、后降噪”的串联式理解区分开。串联管线通常把波束形成器的指向当成固定前提；条件化神经滤波则把指向性变成网络可响应的输入。不过，论文在摘要层面没有给出完整数据集构成、消融细节和真实助听硬件上的功耗或主观测试。因此，它更适合作为一种受强约束的系统设计范例，而不是对任意多通道增强任务的性能结论。
两种频谱，两个不应混为一谈的目标
DualSpecSE 的关键不是简单地并排放置两个分支，而是承认 Mel 谱与复数谱所携带的信息密度不同。Mel 表征压缩频率细节、与许多 ASR 前端天然衔接；复数谱同时包含幅度和相位细节，更适合高保真波形重建。论文在 CleanMel 的跨频带、窄频带建模基础上增加分支交互与融合，使模型一端产生可直接送往识别器的增强 Mel，另一端输出用于重建的复数谱，不要求额外训练声码器。
这避免了一个常见但很少被明说的折中：若把“重建听感好的波形”当作唯一中间目标，识别端仍要经历一次可能丢失判别信息的特征提取；若只训练对识别友好的压缩特征，又难保证人耳听到的自然度。论文报告保真度、感知质量与 ASR 表现均有改善，并提供代码与音频样例；但摘要未列出识别错误率、参数规模和时延，也没有说明多通道条件。因此公开阅读时应把它理解为双目标建模的架构主张，而不是已经覆盖所有部署约束的方案。
当质量指标开始被模型“讨好”
The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern TTS 讨论的对象是 TTS，但它提出的评测问题远超合成语音。作者在六个人工评级语料上构造配对偏好测试，发现 UTMOS、DNSMOS、SCOREQ 等无参考指标对“明显有缺陷”和“明显无缺陷”的样本能够做出大致合理的区分；可一旦两段音频都已达到较高质量，单一指标不再稳定地复现人的偏好，部分情形甚至不如选择时长较长的音频这一朴素基线。经校准的组合指标表现更强，却没有完全消除高质量区间的失配。
更值得重视的是奖励实验：若直接以单个无参考分数驱动策略优化，模型可以把该分数推高，同时在独立评审与听测中变差。这不是某个指标“坏了”，而是代理目标在被反复优化后必然遭遇的 Goodhart 问题。对语音增强同样如此：预测 MOS、PESQ 类分数、识别正确率都可以进入评价表，但没有一个应独占训练奖励或发布验收。
同日的 VoiceMOS Challenge 2026 和 CAL-MOS 分别从挑战赛评测与跨基础模型校准探索质量预测；PLC-DPO 则从偏好标签噪声出发讨论如何避免把不可靠偏好直接当成优化信号。它们共同说明，质量评估本身已经成为独立的研究对象，而非训练结束后顺手附上的一列数字。
不确定性要穿过整个说话人验证后端
A Unified Uncertainty-Aware Back-End for Speaker Verification: Scoring, Normalization, and Calibration 将另一种常被截断的信息——嵌入的不确定性——从编码器后一路带到后端。现实中的嵌入质量会受语音时长、噪声和信道影响；如果只在余弦打分时考虑它，而后续 AS-Norm 类归一化和分数校准仍把所有试次当成同样可靠，前面的建模就被消耗掉了。论文以后验均值和协方差表示每条语音，并将协方差信息用于不确定性感知余弦打分、归一化统计与校准特征，在 ECAPA-TDNN 和 ResNet 骨干上报告 EER 改善。
它提供的是后端设计上的完整性，而不是一个新的编码器。相应的边界也很清楚：摘要没有给出跨语言、极短注册语音或公开复现资源的细节。其更一般的启示是，置信度不应只被用作一个最终阈值，而应能影响中间统计与决策的每一步。
从生成模型到全双工对话，系统开始处理连续时间
StepAudio 3 的两份技术报告将视野从增强前端扩展到完整音频交互。Gen 采用离散自回归的 RVQ token 路线，以 12.5 Hz 的 token 速率和多层残差码本同时承载语义与声学信息：主干沿时间预测首层码本，轻量因果 Transformer 再沿码本轴补齐余下层。它覆盖零样本 TTS、音色设计、歌声、音效和音乐等生成任务。Realtime 则把问题放在“听、说、想、动”连续交织的全双工环路中，分别处理声学感知、停顿和插话，并通过 Think-While-Speaking 尝试把内部推理与说话并行化。
这些报告展示的是系统方向而非可直接复现的完整配方：训练数据、资源规模和部分评测条件仍受技术报告披露范围限制。与 Realtime-Venus、Omni-Streaming Thinking、Grounded in Sound 等同时出现的工作一道看，它们反映出一个转向——实时语音系统不再只追求生成一段声音，而要维护证据、状态和行动在时间上的一致性。
留给实践的验收表
若把上述研究转化为一个可检查的工程问题，至少要分开问五件事：指向性控制是否在位置变化后仍有效；面向人和面向识别的输出是否各自得到验证；质量代理是否经过独立听测或多指标交叉检查；说话人后端是否把试次可靠性传播到归一化与校准；全双工系统的打断、等待与恢复是否在连续会话里而非离线片段里测量。论文之间并没有给出同一个答案，但它们共同反对用单一模型、单一分数或单一时刻的结果来代表一条语音链路的全部质量。
计算预算从训练期开始，而不是部署前夕才剪枝
RT-SEMamba 以全因果时频 Mamba 为骨干，利用状态空间结构在长音频推理时维持固定大小的循环状态，而非像标准 Transformer 那样积累 KV cache。论文把 8 层教师以渐进蒸馏压缩到 1 层学生，并同时蒸馏复数谱输出与中间表征。在 Voicebank-DEMAND 上，8 层模型在 25 ms 算法时延下报告 3.32 PESQ；1 层学生相对朴素基线由 3.06 提升至 3.18，稳态 RTF 保持不变，相对教师加速 2.75 倍。数据集单一、真实设备功耗与主观实验未在摘要展开，因此这些结果更适合说明“质量—时延折中可以在训练阶段进入目标”，而非证明一种结构已在所有端侧场景胜出。
Performance and Complexity Trade-off Optimization of Speech Models During Training 进一步从架构尺寸入手。作者通过特征噪声注入的重参数化，使原本不可微的层宽与计算复杂度可以随 SGD 一同优化，在 VAD 和反欺骗任务上展示训练期动态选择复杂度的可能。与蒸馏、量化和事后剪枝相比，它改变的是问题顺序：先让模型在目标预算内长出来，再谈部署。代价是训练过程和超参数选择会更复杂，且论文尚未在大规模增强模型、定点化与真实 NPU 上给出完整验证。
空间表征不能只按重建误差排名
Mask-Based Speech Enhancement for Spatial Audio 系统比较掩蔽增强作用在原始麦克风通道、波束形成器输出和 Ambisonics 表征时的差别。波束域取得更高的增强分数，Ambisonics 域则更好地保存残余干扰的空间属性；三种路径均可维持目标定位线索。它的重要性恰恰来自没有发明新网络：当任务是 AR/VR、车载多区或可听空间场景时，“哪一域的指标更高”不能取代“哪些空间属性需要被保留”。
Task-oriented neural FOA encoding for SELD from irregular microphone arrays 给出更直接的反例。对于非规则阵列，作者先对传统 FOA 编码进行神经残差修正，再通过教师—学生蒸馏迁移事件与空间知识；在合成阵列和 LOCATA 真实静态声源上，下游 SELD 与定位误差改善。论文明确观察到更低的 FOA 重建误差不必然带来更好的 SELD。若中间表征的职责是服务定位、分离或识别，就应按这些任务的证据训练和验收，而不是把信号重建误差误当成充分条件。
多模态、检索与人群差异各自提出了新的评测难题
G-Mamba 面对音视频增强中的对齐问题：强声学干扰下，稠密跨模态注意力既昂贵又可能把错误对齐放大。论文以稀疏异构图表达模态内和模态间关系、用 Mamba 获取长程时序，并保留音频跳连；在 LRS3 上报告噪声条件 SI-SDR 为 13.091 dB，计算量为 3.45 G MACs，也在 VoxCeleb2 上作了验证。它并不自动适用于没有视觉输入的场景，但“显式表示何时可信地融合另一模态”的问题值得被单独评测。
VoiceTrace 则把“谁说了什么”变成联合检索任务：查询同时包含文本和参考语音，模型需同时匹配内容与说话人。其双阶段框架先学习统一嵌入做大规模召回，再用重排器细化查询—候选关系，并在所建基准上优于将声纹与语义检索简单级联的方式。这提醒我们，身份、内容和时间在真实会议检索中是互相制约的条件，不应总被拆成彼此独立的后处理。
最后，Absolute Quality Ratings of Speech Enhancement Systems by Listeners of Different Ages and Degrees of Hearing Loss 让“谁来听”回到评测中心。论文比较 40 名 20–30 岁正常听力听者与 67 名 60–95 岁、听力状况多样的老年听者，对自然对话和真实背景中的增强系统做绝对质量评分。文中结论是：年轻组能区分的系统差异在老年组会缩小甚至不可区分，且这种收缩不能只由外周听力损失解释。该研究并未替任何系统定胜负，却指出了一个基本边界：如果最终用户群体与评测听者不一致，再精密的客观分数也无法自动补上外推缺口。
全双工模型不只是在生成速度上竞争
StepAudio 3 Realtime 把听、说、内部推理与工具行动组织为连续环路：Deep Perception 处理声学线索，Seamless Duplex 处理停顿、附和和打断，Think-While-Speaking 试图在输出语音时并行完成私有推理。技术报告给出 MMSU 90.6、Artificial Analysis Full-Duplex Bench 98.9、τ-Voice 宏任务成功率 56.0 等指标，并支持异步工具调用。它是闭源技术报告，模型规模、训练数据和端侧可部署性仍不透明；因此更适合用来观察全双工系统正在接受哪些新评测，而不是当作可直接复制的前端方案。
这一组论文合在一起指向同一条边界：系统不应只问“信号变干净了吗”，还必须问计算是否可预算、空间线索是否还在、跨模态证据是否可靠、输出是否方便检索、评价是否覆盖真实听者，以及连续对话中状态是否能维持。只有这些问题都被写入实验设计，所谓实时语音增强才不只是离线指标的缩短版。