SVM为什么走下“神坛”？

Posted 2022-05-28 JeemyJohn

本文原作者：黄广斌 新加坡南洋理工大学 电子电气工程学院 副教授
原文转载自：https://mp.weixin.qq.com/s/R-y3GIrMEhqU2ivEMABBLw

点题：学界发现真理，产业界利用趋势。“神人”就是既发现了真理又掌握了趋势（To find the truth of nature in academic, and to make business and profits by following the trend of technologies in industries.）。

1、历史的惊人巧合

　　曾几何时，SVM在神经网络研究和应用中几乎无所不在。SVM是几乎所有有关神经网络计算机视觉期刊会议离不开的重要组成。SVM的最大化分类边界理论不知迷倒了多少科研院所和高科技公司的研发人员，支持向量（Support Vector） 概念本身也衍生出一批批美妙的解释，让人如痴如醉，整整迷倒了一代科研人员。 SVM在研发鼎盛时期上的热度不亚于现在的深度学习研发上的热度。只是处于历史的不同阶段，各种神经网络技术影响力的放大程度不一样，造成的观感和在历史上的沉淀有区别。(图1)

图1 - 神经网络历史的魔幻数字“15年”

2、历史的转折

　　但是作为一个风向标，今年的在加拿大温哥华召开的世界神经网络会议（International Conference on Neural Networks (IJCNN2016)）只有几篇有关SVM的文章了。自从SVM在2004年为世人普遍接受（虽然SVM在1996年正式被提出），在这样的会议上SVM文章通常占多数，甚至达到200-300篇。今年在这个会议上，最热门的两个方向变成了深度学习和超限学习机（ELM）。究其原因，大概有三：1）在中等和大数据学习上，即使问题本身不复杂，SVM也需要大量学习时间，而在复杂大数据学习上，SVM效果普遍不如深度学习；2）在小数据，稀疏数据到中等大数据上SVM的结果不如ELM；3）在理论上SVM又只能提供次优解，我们在2012年发表在IEEE Transactions on Cybernetics上的文章给了证明，而这篇文章自从在IEEE发表后，已经是过去4年各类25万IEEE所发文章中引用率最高的文章 http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Unified-Learning.pdf。

　　2011年1月在美国西雅图微软研究院做了一个关于ELM的学术报告。 报告当天早晨临时起意想在报告中加入SVM次优解观点。阐述这个关于SVM次优解观点时，当时正值SVM研发处于历史最鼎盛时期，当时没有多少人听说过深度学习和ELM， 微软一批SVM专家级粉丝很难接受我提出的SVM次优解观点，虽然他们现在普遍认可SVM基本走出历史舞台。

3、SVM的历史贡献

　　然而SVM作为一个特殊的神经网络学习算法有伟大的历史意义，没有它神经网络历史和机器学习历史也许会停顿10年发展。它在上世纪90年代末到本世纪前10年，当大家对神经网络失去信心时，近乎孤独地带领神经网络和机器学习界又往前走了15年，实现了一批有历史影响力的应用。也许这15年为后来的神经网络发展提供了宝贵的历史连续性，否则人们也许会发现神经网络历史发展存在可惜的空窗期。

4、历史：学界的“跟风文化”和产业界的“趋势利润法则”

　　SVM的教训也是深刻的，当大家普遍被SVM的最大化分类边界理论概念吸引时，却几乎无人去怀疑这个理论的局限，直到我们2012年关于SVM次优解理论文章的发表。一个小插曲是：2010年和清华大学合作申请项目时，收到的项目申请评语说：“居然还有比SVM快和准的算法，这是不可能的”，当然项目申请也是不可能成功的。

　　机器学习需要科学系统地研究，否则一味的跟风只会让大部分人从一个坑跳向另一个坑。由于数据和应用的越来越复杂，这样的“坑”只能越来越大，但这并不影响工程应用和众多的新产品的推出。有能力的领头企业和集团就会顺势巧妙地运用这个“坑”的艺术，实现利益的最大化和领导角色，也会及时跳出坑，找到下一个弹跳点。

做个简短总结：

　　学界发现真理，产业界利用趋势。“神人”就是既发现了真理又掌握了趋势（To find the truth of nature in academic, and to make business and profits by following the trend of technologies in industries.）。

---

扫描燕哥微信号，拉你进机器学习大牛群。福利满满，名额已不多……

我的群里目前包括：清华张长水教授，清华顾险峰教授，北大黄铁军教授，新加坡南洋理工大学黄广斌教授，北交李清勇教授等等……