在语音算法中,范数常以简短的符号出现:损失函数中的 $\lVert e\rVert$、正则项中的 $\lVert w\rVert$,以及稳定性分析中的 $\lVert A\rVert$。这些记号所指定的并非单一的“长度”概念,而是一种度量规则:哪些误差应被重点惩罚,模型参数应如何受约束,线性变换的放大作用又应如何评估。
下文从向量、矩阵和优化三个层面说明常见范数,并讨论其在频谱重建、参数正则化和多通道语音前端中的含义。
范数与多维对象的大小
设 $x=[x_1,\ldots,x_n]^\mathsf{T}$ 是一个向量。范数会把它映射为一个非负实数,并满足三条基本规则:
前两条分别对应正定性与齐次性:只有零向量的范数为零,向量缩放后范数按相同倍数变化。第三条为三角不等式,它使组合误差的度量保持一致的上界关系。
范数为多维对象提供了标量化的度量方式。不同定义对应不同的关注点:累计偏差、总体能量和最大单项偏差会导向不同的度量选择。
常见向量范数
对 $p\geq1$,$p$-范数定义为:
最常见的几种选择可以放在一起理解:
| 名称 | 定义 | 它强调的量 | ||
|---|---|---|---|---|
| $L_1$ 范数 | $\lVert x\rVert_1=\sum_i | x_i | $ | 所有分量的累计绝对偏差 |
| $L_2$ 范数 | $\lVert x\rVert_2=\sqrt{\sum_i x_i^2}$ | 总能量或欧氏距离 | ||
| $L_\infty$ 范数 | $\lVert x\rVert_\infty=\max_i | x_i | $ | 最严重的单个偏差 |
以误差向量 $e$ 为例,$L_1$ 对每个分量作线性累计,少数极大误差不会完全决定目标值;$L_2$ 对大误差给出更高权重;$L_\infty$ 则只由最大误差决定。选择取决于任务对误差分布和极端情况的容忍度。
$L_0$ 与稀疏性
常见记号 $\lVert x\rVert_0$ 表示 $x$ 中非零分量的个数:
它不满足范数的齐次性,通常称为 $L_0$“伪范数”或稀疏度计数。若希望模型仅保留少量活跃特征、非零滤波器系数或有效时频单元,最小化该计数与所需结构相符。
直接最小化非零元素个数通常构成组合优化问题。实践中常以 $L_1$ 作为替代项;它会推动较小系数趋向零,同时保留较易处理的凸优化结构。
从几何直觉看稀疏性
考虑带正则项的最小二乘问题:
若 $\Omega(w)=\lVert w\rVert_2^2$,约束集合是光滑的圆或球;若 $\Omega(w)=\lVert w\rVert_1$,约束集合在坐标轴方向有尖角。等损失面与约束边界相切时,$L_1$ 的尖角更容易落在坐标轴上,于是一些坐标恰好变为零。
这就是 $L_1$ 正则化倾向产生稀疏解的几何原因。相反,$L_2$ 正则化通常不会把参数精确压到零,而是让许多参数一起变小,得到更平滑、较为稠密的解。
$L_1$ 与 $L_2$ 对应不同的结构假设。前者偏向由少数分量主导的解;后者允许多个分量共同作用,但抑制过大的参数值。二者的适用性取决于数据结构和任务目标,不能仅依据是否“防过拟合”来判断。
矩阵范数与线性变换
向量范数描述一个状态的大小,矩阵范数则描述线性变换 $A$ 的规模。对于矩阵 $A=[a_{ij}]$,两类定义尤其常用。
第一类直接汇总元素,例如 Frobenius 范数:
它可以理解为把矩阵所有元素铺开后计算 $L_2$ 范数,适合衡量整体参数能量。
第二类是由向量范数诱导的算子范数:
该定义给出矩阵对输入范数的最大放大倍数。常用的诱导范数为:
其中 $\lVert A\rVert_1$ 为最大绝对列和,$\lVert A\rVert_\infty$ 为最大绝对行和,$\lVert A\rVert_2$ 为最大奇异值,即谱范数。谱范数可用于分析网络层、波束形成权重或递归滤波器对输入扰动的最坏放大。
语音前端中的范数选择
语音任务里,范数常被写进训练目标,但不同选择对应不同的失败代价。
频谱或波形重建
设干净目标为 $s$,模型输出为 $\hat{s}$。使用 $\lVert s-\hat{s}\rVert_1$,意味着每个采样点或时频单元的绝对误差近似线性累计;使用平方误差 $\lVert s-\hat{s}\rVert_2^2$,意味着大误差会被加倍放大。
训练数据含有偶发削波、强瞬态或标注偏差时,平方误差可能受少数异常片段主导,$L_1$ 往往更稳健。若大幅失真本身构成主要风险,强调大误差的平方损失可能更合适。两者应结合业务风险和分条件验收结果确定。
稀疏时频表示与掩码
语音、干扰和混响在时频域往往具有可利用的结构。对掩码、字典系数或激活向量加入 $L_1$ 约束,可以鼓励模型用较少的显著单元解释观测;这有时有助于分离与压缩,也可能在弱辅音、拖尾混响或低能量语音处造成漏保留。
稀疏性不能单独作为质量指标。应结合可懂度、目标说话人保真度、残余干扰和实时性评估,以确认被置零的成分不包含任务所需的信息。
多通道变换与稳定性
阵列前端中的波束形成矩阵、跨通道滤波器,或神经网络中的线性层都可写成 $y=Ax$。如果输入含有小扰动 $\delta x$,输出扰动满足:
该界本身不能证明整个系统稳定,但指出了需要关注的放大机制:模块的谱范数较大时,微小输入扰动可能被显著放大。对于设备失配、阵列几何误差、量化误差和流式状态漂移,谱范数提供了不同于平均输出能量的最坏情况视角。
选择范数时需要考虑的因素
范数选择可围绕以下三个问题展开:
- 错误如何计价? 如果每个单元的偏差应平等累计,优先考虑 $L_1$;如果极大偏差代价更高,考虑平方误差或显式的最坏情况约束。
- 模型应具有什么结构? 若希望选择少量特征或激活,考虑 $L_1$ 型稀疏约束;若希望所有参数温和收缩,考虑 $L_2$ 型约束。
- 需要控制整体能量还是最坏放大? 参数总量可用 Frobenius 范数描述;线性模块对扰动的最大增益则应看诱导范数,尤其是谱范数。
训练目标中的范数只是优化的代理信号。它是否有效表达了听感、识别、分离或实时链路中的风险,仍需通过配对样本、困难场景和最坏分位数等指标验证。
结语
范数使大小、误差、复杂度和放大作用能够在统一的数学框架下比较。$L_1$、$L_2$、$L_\infty$ 与矩阵谱范数分别对应不同的误差结构和风险侧重。为训练目标选择范数时,应明确其隐含的结构假设,并与语音系统的实际验收目标相对应。