向量L0、L1、L2、L∞范数，矩阵F-范数

青旅半醒 2023-06-12 15:25 72阅读 0赞

## 向量范数 ##

1.   L 0 L\_0 L0范数  
     ∥ x ∥ 0 \\parallel x \\parallel \_0 ∥x∥0 向量x中非零元素的个数， L 0 L\_0 L0范数用于表达向量的稀疏性  
    由于 L 0 L\_0 L0优化问题属于[NP难问题][NP]，因此在实际的使用中通常用 L 1 L\_1 L1范数代替
2.   L 1 L\_1 L1范数  
     ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ \\parallel x \\parallel \_1 = \\sum\_\{i=1\}^\{n\}\{|x\_i|\} ∥x∥1=i=1∑n∣xi∣ 向量x中各元素绝对值之和  
    性质： L 1 L\_1 L1优化的解为稀疏解。  
    因此 L 1 L\_1 L1范数被称为稀疏规则算子，可以通过 L 1 L\_1 L1算子，可以通过 L 1 L\_1 L1范数实现特征的稀疏，过滤掉无用的特征。
3.   L 2 L\_2 L2范数  
     ∥ x ∥ 2 = ∑ i = 1 n x i 2 \\parallel x \\parallel \_2 = \\sqrt \{\\sum\_\{i=1\}^\{n\}\}x\_i^2 ∥x∥2=i=1∑nxi2 向量x中各元素平方和开方，通常用来做优化目标函数的正则化项，防止模型过拟合
4.   L ∞ L\_\\infty L∞范数  
     ∥ x ∥ ∞ = x m a x ∣ x i ∣ \\parallel x \\parallel \_\\infty = \\stackrel\{\\mathrm\{max|x\_i|\}\}\{x\}\{\} ∥x∥∞=xmax∣xi∣  
    向量x中元素的最大值
5.   L p L\_p Lp范数  
     ∥ x ∥ p = ∑ i = 1 n x i p ， p ∈ \[ 0 , + ∞ ) \\parallel x \\parallel \_p = \\sqrt \{\\sum\_\{i=1\}^\{n\}\}x\_i^p ，p \\in \[0,+\\infty) ∥x∥p=i=1∑nxip，p∈\[0,\+∞)

## 矩阵范数 ##

Frobenius(佛罗贝尼乌斯)范数：矩阵中各元素的平方和开方，简称F-范数  
 ∥ x ∥ F = ∑ i = 1 m ∑ j = 1 n x i j 2 ， p ∈ \[ 0 , + ∞ ) \\parallel x \\parallel \_F = \\sqrt \{\\sum\_\{i=1\}^\{m\}\\sum\_\{j=1\}^\{n\}x^2\_\{i j\}\}，p \\in \[0,+\\infty) ∥x∥F=i=1∑mj=1∑nxij2，p∈\[0,\+∞)

[NP]: https://baike.baidu.com/item/NP-hard/10680083?fr=aladdin