【图像处理】-024 范数
文章目录
1 L 1 L^1 L1范数与 L 2 L^2 L2范数
范数用于衡量一个向量的大小。形式上 L p L^p Lp范数的定义如下：
(1) L p = ( ∑ i ∣ x i ∣ p ) 1 p L^{p}=(\sum_{i}|x_i|^p)^\frac{1}{p} \tag{1} Lp=(i∑∣xi∣p)p1(1)
其中， p ∈ R , p ≥ 1 p \in R,p \geq 1 p∈R,p≥1.
范数，包括 L p L^p Lp范数，是将向量映射到非负值的函数。
向量 x x x的范数衡量从原点到点 x x x的距离。范数是满足以下性质的任意函数
- f ( x ) = 0 x = 0 ; f(x) = 0 \Longrightarrow x=0; f(x)=0x=0;
- f ( x + y ) ≤ f ( x ) + f ( y ) ; f(x+y) \leq f(x) + f(y); f(x+y)≤f(x)+f(y); (三角不等式)
- ∀ α ∈ R , f ( α x ) = ∣ α ∣ f ( x ) \forall \alpha \in R, f(\alpha x)=|\alpha|f(x) ∀α∈R,f(αx)=∣α∣f(x)
当 p = 2 p=2 p=2时， L 2 L^2 L2范数又称为欧几里得范数(Euclidean norm).它表示从原点出发到向量 x x x的欧几里得距离。 L 2 L^2 L2范数经常简化表示为 ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣。平方 L 2 L^2 L2范数经常用来衡量向量的大小，可以简单的通过点积 x T x x^T x xTx计算。
平方 L 2 L^2 L2范数在数学和计算上都比 L 2 L^2 L2范数方便。平方 L 2 L^2 L2范数对 x x x中每个元素的导数只取决于对应的元素，而 L 2 L^2 L2范数对每个元素的导数和整个向量有关。但平方 L 2 L^2 L2范数在原点附近增长十分缓慢，所以对部分区分零值与很小的非零值得元素很重要的应用中， L 2 L^2 L2范数的表现比平方 L 2 L^2 L2范数更好。在这种情况下，可以使用 L 1 L^1 L1范数，其可以简化为：
(2) L 1 ( x ) = ∣ ∣ x ∣ ∣ 1 = ∑ i ∣ x i ∣ L^1(x)=||x||_1=\sum_i{|x_i|} \tag{2} L1(x)=∣∣x∣∣1=i∑∣xi∣(2)
2 L 0 L^0 L0范数
使用统计向量中非零元素的个数来很衡量向量的大小时，有些人将其称为 L 0 L^0 L0范数。但这在数学意义上是不对的。非零元素的个数不满足之前范数定义中的三条性质中的第三条。因此， L 1 L^1 L1范数经常作为表示非零元素数目的替代函数。
3 L ∞ L^{ \infin } L∞范数
机器学习中出现的范数 L ∞ L^{ \infin } L∞范数也称为最大范数，这个范数表示向量中具有最大幅值的元素的绝对值：
(3) ∣ ∣ x ∣ ∣ ∞ = max i ∣ x i ∣ ||x||_{\infin}= \max_{i}|x_i| \tag{3} ∣∣x∣∣∞=imax∣xi∣(3)
4 Frobenius范数
有时，我们希望可以衡量矩阵的大小，在深度学习中，最常见的做法是使用Frobenius范数，即：
(4) ∣ ∣ A ∣ ∣ F = ∑ i , j A i , j 2 ||A||_F = \sqrt{\sum_{i,j}A_{i,j}^{2}} \tag{4} ∣∣A∣∣F=i,j∑Ai,j2 (4)
其类似于向量的 L 2 L^2 L2范数。
