向量范数、函数范数、矩阵范数
向量范数（vector norm）的定义
记 ∥ x ∥ \left \| x \right \| ∥x∥为向量 x ∈ R n x \in R^n x∈Rn的某个实值函数，若满足条件：
（1）对 ∀ x ∈ R n , ∥ x ∥ ≥ 0 \forall x \in R^n,\left \| x \right \|\geq 0 ∀x∈Rn,∥x∥≥0，当且仅当 x = 0 x=0 x=0时， ∥ x ∥ = 0 ; \left \| x \right \|=0; ∥x∥=0;（正定条件）
（2）对 ∀ a ∈ R , ∥ a x ∥ = ∣ α ∣ ∥ x ∥ \forall a \in R,\left \| ax \right \|= \left | \alpha \right |\left \| x \right \| ∀a∈R,∥ax∥=∣α∣∥x∥；
（3）对 ∀ x , y ∈ R n , ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ , \forall x,y \in R^n,\left \| x+y \right \|\leq \left \| x \right \|+\left \| y \right \|, ∀x,y∈Rn,∥x+y∥≤∥x∥+∥y∥,（三角不等式）
则 ∥ x ∥ \left \| x \right \| ∥x∥是 R n R^n Rn上的范数。
对于实向量 x = [ x 1 , x 2 , . . . , x n ] T x=[x_1,x_2,…,x_n]^T x=[x1,x2,...,xn]T，有以下实向量 x x x的三种范数，它们都满足向量范数定义中的条件。
（1）1-范数： ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ . \left \| x \right \|_1=\sum_{i=1}^{n}\left | x_i \right |. ∥x∥1=∑i=1n∣xi∣.
（2）2-范数： ∥ x ∥ 2 = ( ∑ i = 1 n ∣ x i ∣ 2 ) 1 2 = ( x T x ) 1 2 . \left \| x \right \|_2=(\sum_{i=1}^{n}\left | x_i \right |^2)^{\frac{1}{2}}=(x^Tx)^{\frac{1}{2}}. ∥x∥2=(∑i=1n∣xi∣2)21=(xTx)21.
（3） ∞ \infty ∞–范数： ∥ x ∥ ∞ = m a x 1 ⩽ i ⩽ n ∣ x i ∣ . \left \| x \right \|_{\infty}=\underset{1\leqslant i\leqslant n}{max}\left | x_i \right |. ∥x∥∞=1⩽i⩽nmax∣xi∣.
1-范数也称为曼哈顿范数；2-范数也称为欧式范数，是欧几里得几何空间中向量长度的直接推广。这三种向量范数都属于一大类范数，称为p-范数。
p-范数的定义
对于实向量 x = [ x 1 , x 2 , . . . , x n ] T ∈ R n x=[x_1,x_2,…,x_n]^T\in R^n x=[x1,x2,...,xn]T∈Rn，它的p-范数为
∥ x ∥ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p , p ⩾ 1. \left \| x \right \|_p=(\sum_{i=1}^{n}\left | x_i \right |^p)^{\frac{1}{p}},p\geqslant 1. ∥x∥p=(i=1∑n∣xi∣p)p1,p⩾1.
其中，1-范数、2-范数、和 ∞ \infty ∞-范数是p-范数的三种特殊情况（分别对应于 p = 1 , p = 2 , p → ∞ p=1,p=2,p\rightarrow \infty p=1,p=2,p→∞）
矩阵范数（matrix norm）的定义
记 ∥ A ∥ \left \| A \right \| ∥A∥为矩阵 A ∈ R n × n A\in R^{n\times n} A∈Rn×n的某个实值函数，若它满足条件
（1）对 ∀ A ∈ R n × n , ∥ A ∥ ⩾ 0 \forall A\in R^{n\times n},\left \| A \right \|\geqslant 0 ∀A∈Rn×n,∥A∥⩾0，当且仅当 A = O A=O A=O时， ∥ A ∥ = 0 \left \| A \right \|=0 ∥A∥=0；（正定条件）
（2）对 ∀ α ∈ R , ∥ α A ∥ = ∣ α ∣ ∥ A ∥ ; \forall \alpha \in R,\left \| \alpha A \right \|=\left | \alpha \right |\left \| A \right \|; ∀α∈R,∥αA∥=∣α∣∥A∥;
（3）对 ∀ A , B ∈ R n × n , ∥ A + B ∥ ⩽ ∥ A ∥ + ∥ B ∥ ; \forall A,B\in R^{n\times n},\left \| A+B \right \|\leqslant \left \| A \right \|+\left \| B \right \|; ∀A,B∈Rn×n,∥A+B∥⩽∥A∥+∥B∥;（三角不等式）
（4） ∥ A B ∥ ⩽ ∥ A ∥ ∥ B ∥ , \left \| AB \right \|\leqslant \left \| A \right \|\left \| B \right \|, ∥AB∥⩽∥A∥∥B∥,
则 ∥ A ∥ \left \| A \right \| ∥A∥是 R n × n R^{n\times n} Rn×n上的矩阵范数。
函数的范数的定义
（1） ∞ \infty ∞-范数
设 f ( x ) ∈ C [ a , b ] f(x)\in C[a,b] f(x)∈C[a,b]，则 ∥ f ( x ) ∥ ∞ = m a x x ∈ [ a , b ] ∣ f ( x ) ∣ . \left \| f(x) \right \|_\infty=\underset{x\in[a,b]}{max}\left | f(x) \right |. ∥f(x)∥∞=x∈[a,b]max∣f(x)∣.
函数值绝对值的最大值。
（2）1-范数
∥ f ( x ) ∥ 1 = ∫ a b ∣ f ( x ) ∣ d x . \left \| f(x) \right \|_1=\int_{a}^{b}\left | f(x) \right |dx. ∥f(x)∥1=∫ab∣f(x)∣dx.
函数曲线与横轴之间的面积总和。
（3）2-范数
∥ f ( x ) ∥ 2 = [ ∫ a b f 2 ( x ) d x ] 1 2 . \left \| f(x) \right \|_2=\left [ \int_{a}^{b} f^2(x) dx \right ]^{\frac{1}{2}}. ∥f(x)∥2=[∫abf2(x)dx]21.
2-范数也常称为平方范数。意义与1-范数大体上类似。
