python机器学习方向的第三方库是啥

Posted 2023-04-25

Python开发工程师必知的十大机器学习库：

一、Scikit-Learn

在机器学习和数据挖掘的应用中，Scikit-Learn是一个功能强大的Python包，我们可以用它进行分类、特征选择、特征提取和聚集。

二、Statsmodels

Statsmodels是另一个聚焦在统计模型上的强大的库，主要用于预测性和探索性分析，拟合线性模型、进行统计分析或者预测性建模，使用Statsmodels是非常合适的。

三、PyMC

PyMC是做贝叶斯曲线的工具，其包含贝叶斯模型、统计分布和模型收敛的诊断工具，也包含一些层次模型。

四、Gensim

Gensim被称为人们的主题建模工具，其焦点是狄利克雷划分及变体，其支持自然语言处理，能将NLP和其他机器学习算法更容易组合在一起，还引用Google的基于递归神经网络的文本表示法word2vec。

五、Orange

Orange是一种带有图形用户界面的库，在分类、聚集和特征选择方法方面，相当齐全，还有交叉验证的方法。

六、PyMVPA

PyMVPA是一种统计学习库，包含交叉验证和诊断工具，但没有Scikit-learn全面。

七、Theano

Theano是最成熟的深度学习库，它提供不错的数据结构表示神经网络的层，对线性代数来说很高效，与Numpy的数组类似，很多基于Theano的库都在利用其数据结构，它还支持开箱可用的GPU编程。

八、PyLearn

PyLearn是一个基于Theano的库，它给Theano引入了模块化和可配置性，可以通过不同的配置文件来创建神经网络。

九、Hebel

Hebel是一个带有GPU支持的神经网络库，可以通过YAML文件决定神经网络的属性，提供了将神级网络和代码友好分离的方式，并快速地运行模型，它是用纯Python编写，是很友好的库，但由于开发不久，就深度和广大而言，还有些匮乏!

十、Neurolab

Neurolab是一个API友好的神经网络库，其包含递归神经网络实现的不同变体，如果使用RNN，这个库是同类API中最好的选择之一。

参考技术A sklearn是比较常用的python机器学习库。

机器学习梯度下降与拟牛顿

这节课的推导真心hold不住了。按照自己的理解记下仅看明白的东西吧。或许还有第二遍、第三遍整理呢。

主要讲了两个问题：

学习率α如何确定？

　　使用固定的学习率还是变化的学习率？

　　学习率设置为多大比较好？

下降的方向如何处理，除了梯度方向，有没有其他方向？

　　可行方向和梯度方向有何关系？

先上结论：

使用固定的学习率还是变化的学习率？

使用变化的学习率好。学习率的确定可以这样：在参数迭代的开始阶段，由于与最优值差距较大，可以使用较大的学习率；在迭代后期，使用较小的学习率增加稳定性和精度。

学习率设置为多大比较好？

构造一个关于α的函数，然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意：当前最优。

那如何构造学习率α？

推导...

可行方向和梯度方向有何关系？

就是拟牛顿方向，我的理解是，梯度是线性的，牛顿是非线性的。梯度线性下降或者牛顿非线性下降。

********************************************分割线**********************************************