0%

可解释滤波器,重新成为端侧语音的选项

深度网络几乎主导了语音增强,但在低功耗、低时延和可调控制都很重要的设备上,可解释的滤波结构重新变得值得讨论。An Interpretable, Controllable Time-Varying IIR Denoiser for On-Device Assistive Hearing 的出发点很直接:用时变 IIR 去噪器保留滤波器参数这一可检查、可控制的接口,而不是只输出一个难以解释的波形。

这类方法并不意味着回到传统手工规则。时变参数仍可由学习系统预测,区别在于网络输出受稳定性和滤波结构约束。对设备端而言,这带来两项实际收益:一是延迟和计算量更容易估计;二是当用户需要调整保留程度、频段偏好或失真容忍度时,控制对象是明确的。

同日的 Adaptive Depth and Expert Refinement for Efficient Speech Enhancement 从计算分配角度提出补充:不同片段不必消耗相同深度和相同专家组合。它和可控 IIR 并不冲突——前者决定复杂模型何时值得介入,后者给轻量且稳定的基础处理留出位置。

而 LiteCASS 的实时双声道影视声音源分离、EquiSELD 的等变声源定位研究则说明,端侧语音不只是单麦降噪。只要任务包含声道关系、方位或运动,系统就需要明确说明哪些空间属性应被保持,哪些才是可以压缩或抑制的干扰。可解释结构的价值,正是在这些取舍需要被人审计时显现出来。

TVBC 的实现将神经网络限制为一个 24k 参数控制器,实时预测 35 级二阶 IIR 级联的系数;算法延迟为 10.7 ms。训练时以损失权重确定抑制与保留的折中,推理时还可混合带噪与增强输出、无需重训调节强度。文中报告其 HASPI/HASQI 与 2.3M 参数 DFNet3 相差约 0.02,MACs 少约 29 倍。该结果使用的是助听指标,非线性干扰、通话质量口径和复现资源仍需核实,但它清楚展示了“微型神经控制器 + 显式 DSP”的工程分工。

ADER 则把资源分配做到网络内部:自适应深度控制器决定何时早退,条件专家路由只为实际执行的精修步骤选择适配器,退出感知中间监督保证中间输出也被直接优化。论文在 VCTK-DEMAND 上报告相对 MP-SENet 参数减少 70.4%、平均计算减少 51.3%、WB-PESQ 3.37。单数据集和早退误判代价仍是关键边界,却使“安静时少算、困难时多算”成为可检验的系统假设。

LiteCASS 以子带重排和两个紧凑 U-Net 顺序分离对白、音乐、音效,在空间化 DnR v3 扩展上以 1.06M 参数和 0.72G MACs/s 实现立体声 CASS。EquiSELD 则把 FOA 的 O(3) 对称性写入网络,利用不变标量与等变向量输出活动和方向,在仿真与真实场景中比较等变和非等变结构。这两条路线分别说明:级联分解可让关键目标优先被保护,而几何先验可以替代一部分昂贵的数据增强;但自建基准、FOA 与实际小阵列的差异,都不应被结果表掩盖。

时变指数卷积的方向相关 RIR 合成,以及将 Ambisonics 上采样改写为生成任务的 Flow Matching 研究,进一步补上训练数据的一端。前者使用快速递归卷积和非平稳过程合成空间混响,后者在混响条件下报告 Flow Matching 优于 score-based 与判别式方案。它们没有直接证明下游增强提升,却为测试陌生房间、方向变化和不确定空间信息提供了更严苛的条件。

MECT 把条件计算带到声纹验证:在 CNN-Transformer 骨干上比较话语级/帧级与稠密/稀疏四种 MoE 路由,并经因果重训支持 100ms chunk 的流式推理。具体 EER、路由稳定性和开源情况仍需审计。端侧的结论并非“网络越小越好”,而是要分清哪些部分应由稳定、可解释的信号处理承担,哪些样本值得更多算力,哪些空间与身份信息必须随低延迟链路被保存。

------ 本文结束感谢您的阅读 ------