数据挖掘的历史：支持向量机的发明

Posted 2021-04-26 Python程序员

Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。

“这要从1989年说起，我那时正在研究神经网络和核方法的性能对比，直到我的丈夫决定使用Vladimir的算法，SVM就诞生了。”

——Isabelle Guyon

使用核技巧的支持向量机是我在1991年提出来的，这是我最重要的一项工作。我那时在Larry Jackel的团队，Jackel的团队隶属贝尔实验室（Bell Labs），这使得我有机会接触到一些非常优秀的人，他们当中不少就是现在鼎鼎有名的大人物，比如说Vladimir Vapnik，Yann LeCun，Leon Bottou，Yoshua Bengio，Corinna Cortes等等。实验室充满竞争的氛围，会激励人去做一些伟大的事情。

故事开始于1989年的巴黎，那时我正跟着我的博导，Dreyfus教授和Personnaz教授，研究神经网络和核方法的性能对比（Parzen窗，隐函数，以及Poggio使用的最小二乘核回归）。同年，一起工作的两个物理学家，Mezard和Krauth，提出了一种名为minover的边缘算法，这引起了我的注意，但直到进入贝尔实验室，我才把它们联系起来。

那时，所有人都围绕多层感知器（深度学习的雏形）开展研究，我在边缘算法上的第一项工作是受minover的启发，简化一些有效集方法来优化边缘检测，我的丈夫Bernhard甚至还为多层感知器设计了专用的硬件！我和Vladimir就此展开了热烈的讨论，他和我一个办公室，那会儿正忙着推销他在60年代发明的另一种边缘算法。

支持向量机的出现是在我们搬往伯克利前的那三个月，Bernhard决定使用Vladimir的算法。在线性算法上获得初步的成功后，Vladimir建议引入特征的积，而我提出用隐函数算法的核技巧（kernel trick）更好。Vladimir起初很反对，因为隐函数算法的发明者（Aizerman、Braverman和Rozonoer）所在的团队是他60年代在俄罗斯呆的那个研究所的死对头。最后Bernhard还是尝试了，SVM也就诞生了！

编辑补充：

我给Isabelle发了数据挖掘的历史的链接，链接里面提到了她和Vapnik发明的支持向量机，我问她关于SVM有什么想说的，她就给我分享了她在脸书上po的一个故事，也就是你们现在看到的这个。为了让更多人了解SVM诞生的故事，得到她本人的许可后，我们转载到了这里。

作者介绍：

当了多年的机器学习顾问后，Isabelle Guyon现在是巴黎萨克雷大学的一名全职教授，同时也担任ChaLearn的主席（ChaLearn是加州一家专门组织机器学习竞赛的非赢利性机构）。她出生在巴黎，现在往返于巴黎和加州之间工作。

英文原文：http://www.kdnuggets.com/2016/07/guyon-data-mining-history-svm-support-vector-machines.html
译者：falconsysu