理解感知机从原始形式到对偶形式是一种怎样的思想

￡神魔★判官ぃ 2022-12-17 01:15 253阅读 0赞

感知机原理这篇博客写的很棒：https://www.cnblogs.com/huangyc/p/9706575.html

读完《统计学习方法》和这篇博客后，作为入门者来说，我脑袋里有两大疑惑：  
一个是感知机地收敛定理证明，这个没看懂，不过这个也不影响我继续阅读。  
另一个就是对偶了，对偶是个啥东西？为什么要用对偶形式？对偶是什么？对偶思想是一种怎样的思想？

# “对偶”是一种怎样的思想 #

在[知乎][Link 1]上我找到了一个通俗易懂的回答：

> 我觉得就是转化，这个问题的最小化不好求，那么就转化为另一个问题的最大化（这两个问题存在某种关系，他们都逼近某个值）。举个不恰当的例子，假设你在二楼，想知道二楼地板到地面的距离，不容易求的话，就转化为地面到一楼天花板的距离。

这个时候我大概明白“对偶”是一种怎样的思想，就是“换个角度思考问题”的思想。

正如《统计学习方法》中陈述的：

> 对偶形式的基本想法是，将 w w w和 b b b表示为实例 x i x\_i xi和标记 y i y\_i yi的线性组合的形式，通过求解其系数而求得 w w w和 b b b。

其实这种思想伴随我们很久了，甚至[高中数学][Link 2]课本上都会原文讲到这个，只是我们当时仅仅把它当作一个知识来学习，而非一种思想，以至于毕业后忘得一干二净，当再次遇到时，形同陌路。有时候并不是书到用时方恨少，而是读书没有读到其意自现。

# 参考资料 #

《统计学习方法》  
对偶 （数学术语）：  
https://baike.baidu.com/item/%E5%AF%B9%E5%81%B6/3590968?fr=aladdin  
中学数学中的对偶关系：  
https://wenku.baidu.com/view/288ea279b8f67c1cfad6b8f2.html\#  
如何理解对偶问题？  
https://www.zhihu.com/question/27057384  
线性规划（运筹学术语）  
https://baike.baidu.com/item/%E7%BA%BF%E6%80%A7%E8%A7%84%E5%88%92/1661606?fr=aladdin  
约束最优化问题：  
https://baike.baidu.com/item/%E7%BA%A6%E6%9D%9F%E6%9C%80%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98/19131636?fr=aladdin

[Link 1]: https://www.zhihu.com/question/27057384
[Link 2]: https://wenku.baidu.com/view/288ea279b8f67c1cfad6b8f2.html#