【论文常用笔记】范数

梦里梦外; 2023-01-01 09:50 285阅读 0赞

### 范数 ###

*  一、什么是范数？
 *  二、常用范数有哪些？
 *   *  1、向量范数
     *   *  1-范数： 向量元素绝对值之和 ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 N ∣ x i ∣ ||x||\_1 = \\sum\_\{i=1\}^N|x\_i| ∣∣x∣∣1=i=1∑N∣xi∣
         *  2-范数：向量元素绝对值的平方和再开方 ∣ ∣ x ∣ ∣ 2 = ∑ i = 1 N x i 2 ||\\textbf\{x\}||\_2 =\\sqrt\{\\sum\_\{i=1\}^Nx\_i^2\} ∣∣x∣∣2=i=1∑Nxi2
         *   ∞ \\infty ∞\-范数：所有向量元素绝对值中的最大值 ∣ ∣ x ∣ ∣ ∞ = max ⁡ i ∣ x i ∣ ||\\textbf\{x\}||\_\\infty = \\max\_\{i\}|x\_i| ∣∣x∣∣∞=imax∣xi∣
         *   − ∞ -\\infty −∞\-范数：所有向量元素绝对值中的最小值 ∣ ∣ x ∣ ∣ − ∞ = min ⁡ i ∣ x i ∣ ||\\textbf\{x\}||\_\{-\\infty\}=\\min\_i|x\_i| ∣∣x∣∣−∞=imin∣xi∣
         *  p-范数：向量元素绝对值的p次方和的1/p次幂 ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 N ∣ x i ∣ p ) 1 p ||\\textbf\{x\}||\_p = (\\sum\_\{i=1\}^N|x\_i|^p)^\{\\frac\{1\}\{p\}\} ∣∣x∣∣p=(i=1∑N∣xi∣p)p1
     *  2、矩阵范数
     *   *  1-范数：所有矩阵列向量绝对值之和的最大值  ∣ ∣ A ∣ ∣ 1 = max ⁡ j ∑ i = 1 m ∣ a i , j ∣ ||A||\_1 = \\max\_j\\sum\_\{i=1\}^m|a\_\{i,j\}| ∣∣A∣∣1=jmaxi=1∑m∣ai,j∣
         *  2-范数： A T A A^TA ATA矩阵的最大特征值的开平方 ∣ ∣ A ∣ ∣ 2 = λ 1 ||A||\_2 = \\sqrt\{\\lambda\_1\} ∣∣A∣∣2=λ1
         *   ∞ \\infty ∞\-范数：所有矩阵行向量绝对值之和的最大值 ∣ ∣ A ∣ ∣ ∞ = max ⁡ i ∑ j = 1 N ∣ a i , j ∣ ||A||\_\\infty = \\max\_i\\sum\_\{j=1\}^N|a\_\{i,j\}| ∣∣A∣∣∞=imaxj=1∑N∣ai,j∣
         *  F-范数：矩阵元素绝对值的平方和再开平方 ∣ ∣ A ∣ ∣ F = ( ∑ i = 1 m ∑ j = 1 n ∣ a i , j ∣ 2 ) 1 2 ||A||\_F=\\left(\\sum\_\{i=1\}^m\\sum\_\{j=1\}^n|a\_\{i,j\}|^2\\right)^\{\\frac\{1\}\{2\}\} ∣∣A∣∣F=(i=1∑mj=1∑n∣ai,j∣2)21
         *  核范数：奇异值之和 ∣ ∣ A ∣ ∣ ∗ = ∑ i = 1 n λ i ||A||\_\* = \\sum\_\{i=1\}^\{n\}\\lambda\_i ∣∣A∣∣∗=i=1∑nλi
 *  三、什么时候用什么范数？

# 一、什么是范数？ #

> 简单地说：  
> 0范数：向量中非零元素的个数（即为其稀疏度）  
> 1范数：绝对值之和  
> 2范数：模

首先，函数对应几何图形，几何图形是函数的形象化表示。那么当函数与几何超出三维空间时，就需要引进映射的概念，映射表达的就是一个集合通过某种关系转为另外一个集合。为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个集合（另外一个向量）。 **范数的本质是距离，存在的意义是实现比较。因为向量与矩阵无法像标量直接比较大小，因而通过范数（称为函数或者映射也可以）把不能比较的量转换为可以比较的实数。**

# 二、常用范数有哪些？ #

## 1、向量范数 ##

### 1-范数： 向量元素绝对值之和 ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 N ∣ x i ∣ ||x||\_1 = \\sum\_\{i=1\}^N|x\_i| ∣∣x∣∣1=i=1∑N∣xi∣ ###

*  matlab调用函数norm(x, 1)

### 2-范数：向量元素绝对值的平方和再开方 ∣ ∣ x ∣ ∣ 2 = ∑ i = 1 N x i 2 ||\\textbf\{x\}||\_2 =\\sqrt\{\\sum\_\{i=1\}^Nx\_i^2\} ∣∣x∣∣2=i=1∑Nxi2 ###

*  Euclid范数（欧几里得范数，常用计算向量长度）
 *  matlab调用函数norm(x, 2)。

###  ∞ \\infty ∞\-范数：所有向量元素绝对值中的最大值 ∣ ∣ x ∣ ∣ ∞ = max ⁡ i ∣ x i ∣ ||\\textbf\{x\}||\_\\infty = \\max\_\{i\}|x\_i| ∣∣x∣∣∞=imax∣xi∣ ###

*  matlab调用函数norm(x, inf)。

###  − ∞ -\\infty −∞\-范数：所有向量元素绝对值中的最小值 ∣ ∣ x ∣ ∣ − ∞ = min ⁡ i ∣ x i ∣ ||\\textbf\{x\}||\_\{-\\infty\}=\\min\_i|x\_i| ∣∣x∣∣−∞=imin∣xi∣ ###

*  matlab调用函数norm(x, -inf)。

### p-范数：向量元素绝对值的p次方和的1/p次幂 ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 N ∣ x i ∣ p ) 1 p ||\\textbf\{x\}||\_p = (\\sum\_\{i=1\}^N|x\_i|^p)^\{\\frac\{1\}\{p\}\} ∣∣x∣∣p=(i=1∑N∣xi∣p)p1 ###

*  matlab调用函数norm(x, p)。

## 2、矩阵范数 ##

### 1-范数：所有矩阵列向量绝对值之和的最大值  ∣ ∣ A ∣ ∣ 1 = max ⁡ j ∑ i = 1 m ∣ a i , j ∣ ||A||\_1 = \\max\_j\\sum\_\{i=1\}^m|a\_\{i,j\}| ∣∣A∣∣1=jmaxi=1∑m∣ai,j∣ ###

*  列和范数
 *  matlab调用函数norm(A, 1)。

### 2-范数： A T A A^TA ATA矩阵的最大特征值的开平方 ∣ ∣ A ∣ ∣ 2 = λ 1 ||A||\_2 = \\sqrt\{\\lambda\_1\} ∣∣A∣∣2=λ1 ###

*   λ \\lambda λ为的 A T A A^TA ATA最大特征值。
 *  谱范数
 *  matlab调用函数norm(x, 2)。

###  ∞ \\infty ∞\-范数：所有矩阵行向量绝对值之和的最大值 ∣ ∣ A ∣ ∣ ∞ = max ⁡ i ∑ j = 1 N ∣ a i , j ∣ ||A||\_\\infty = \\max\_i\\sum\_\{j=1\}^N|a\_\{i,j\}| ∣∣A∣∣∞=imaxj=1∑N∣ai,j∣ ###

*  行和范数
 *  matlab调用函数norm(A, inf)。

### F-范数：矩阵元素绝对值的平方和再开平方 ∣ ∣ A ∣ ∣ F = ( ∑ i = 1 m ∑ j = 1 n ∣ a i , j ∣ 2 ) 1 2 ||A||\_F=\\left(\\sum\_\{i=1\}^m\\sum\_\{j=1\}^n|a\_\{i,j\}|^2\\right)^\{\\frac\{1\}\{2\}\} ∣∣A∣∣F=(i=1∑mj=1∑n∣ai,j∣2)21 ###

*  Frobenius范数
 *  matlab调用函数norm(A, ’fro‘)

### 核范数：奇异值之和 ∣ ∣ A ∣ ∣ ∗ = ∑ i = 1 n λ i ||A||\_\* = \\sum\_\{i=1\}^\{n\}\\lambda\_i ∣∣A∣∣∗=i=1∑nλi ###

*   λ i \\lambda\_i λi是A的奇异值。

# 三、什么时候用什么范数？ #

Lp范数是常用的正则化项。  
L2范数倾向于w的分量取值尽量均衡，即非零分量个数尽量稠密。  
L0范数与L1范数则是倾向于w的分量尽量稀疏，即非零分量个数尽量少。