机器学习包含哪些学习思想？

Posted 2021-04-03 黄含驰的机器学习与优化打怪路

问题来源：机器学习包含哪些学习思想？- 知乎 https://www.zhihu.com/question/267135168

本文仅供分享用，侵删

题主“

我在学习的过程中发现有很多绝妙的点子，不知道有没有同学在总结类似的东西．

例如竞争的思想(Generative Adversarial Network)，贝叶斯后验概率的思想，最大似然的思想，动量的思想(adam optimization)，投票的思想(random forest, bagging)，对错误值加大注意力的思想(boosting, Adagrad optimization)，学习自己的思想(Deep Baltzman Machine, autoencoder)，one-shot learning (siames-neural network)里成对学习的思想，记忆的思想(Long Short Term Memory)，筛子的思想(CNN)，规模的思想(scaling,normalization)，自然选择的思想(genetic algorithm)，人工选择的思想(reinforcement learning),逼近的思想(Markov, hopefield)，未观测信息的影响(hidden layers)，比例的思想(logorithm).”

机器学习包含哪些学习思想？- 微尘-黄含驰的回答 - 知乎 https://www.zhihu.com/question/267135168/answer/995201698

1.梯度下降：

如何快速找到或逼近人生最优解？——不断向最陡处迈进，快速试错，快速迭代。
在此过程中，为防自己陷入局部最优的泥沼，可不定期开展适当的探索活动（随机梯度下降）(exploitation VS exploration in RL)。

2.强化学习的目标函数：

"曾经的我， 思路更加接近于不断试错和迭代的进化算法， 而今天， 我的思维更接近强化学习的系统， 人生苦短， 试错有限，在结构目标非常清晰的时候， 极为高效的试错， 并且迅速的收敛于那个收益最高的解，再此基础上迭代， 是更有效的策略。"

3.贝叶斯估计：

" 你去看未来的经济形势， 你可以根据各类的周期理论， 得到一个大致的上行或下行估计。然后你可以根据周边人的状态调整这个概率。这样的思维可以让你在不确定性面前最有效的调整自己。"

机器学习包含哪些学习思想？- 香侬科技的回答 - 知乎 https://www.zhihu.com/question/267135168/answer/477444219

• Learning=Representation+Evaulation+Optimization

• It is generalization that counts. 

  （过拟合（Overfitting）——学而不思）

• Data alone is not enough.

• Over fitting has many faces.

• Intuition fails in high dimensions.

• Theoretical guarantees are not what they seem.

• Feature engineer is the key.

• More data beats a clever algorithm.

• Learn many models, not just one.

• Simplicity does not imply accuracy.

机器学习包含哪些学习思想？- 孤云独去闲的回答 - 知乎 https://www.zhihu.com/question/267135168/answer/732254778

数据是王道，garbage in，garbage out。垃圾进，垃圾出。

机器学习包含哪些学习思想？- 微调的回答 - 知乎 https://www.zhihu.com/question/267135168/answer/329318812

• 天下没有免费的午餐

• 少即是多？

• 三个臭皮匠的智慧（集成学习）

• 德先生与赛先生

• 不可知论

• 后记：矛盾、妥协与独立思考（tradeoff无处不在）

机器学习包含哪些学习思想？- 王源的回答 - 知乎 https://www.zhihu.com/question/267135168/answer/754388314

低维空间的直觉不适用于高维空间分清相关关系和因果关系

机器学习包含哪些学习思想？ - 李思敏的回答 - 知乎 https://www.zhihu.com/question/267135168/answer/338351687

• kernel决定认知