打造机器学习工具箱

Posted 2020-11-03 whatiwhere

打造机器学习工具箱

Scipy是一款方便，易于使用，专为科学和工程设计的python工具包，它包括统计，优化，整合，线性代数模块，傅里叶变换，信号和图像处理，常微分方程求解器等到。

SciPy安装

• 使用Pip
  pip install -user scipy
  安装的时候强烈建议一次安装相关库
  pip install --user numpy scipy matplotlib jupyter pandas sympy nose
• 使用apt-get
  sudo apt-get install python-numpy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose
• 更多参照官网
  http://www.scipy.org

NLTK简介

NLTK是一个开源的项目，包括：pytho模块，数据集和教程，用于NLP的研究和开发。
NLTK由Steven Bird 和 Edward Loper在宾夕法尼亚大学计算机和信息科学系开发。
NLTK包括图形演示和示例数据，其提供的教程解释了工具包支持的语言处理任务背后的基本概念。

NLTK的安装

pip install -U nltk

• 更多安装方式见https://github.com/nltk/nltk/wiki/Installing-Third-Party-Software
  分词用法
  

Scikit-Learn（入门库，朴素贝叶斯，随机森林，在神经网络无法很好的实现）

• Scitkit-Learn是基于python的机器学习模块，基于BSD开源许可证，这个项目最早由在2007年发起的，目前也是由社区志愿者进行维护。
• Scikit-Learn的官方网站上可以找到相关的Scikit-Learn的资源，模块下载，文档，例程等等。
• Scikit-Learn的基本功能主要被分为六个部分，分类，回归，聚类，数据降维，模型选择，数据预处理，具体可以参考官方网站上的文档。

Scikit-Learn安装方法

• 使用pip pip install -U scikit-learn
• 使用conda conda install scikit-learn
• 更多内容参考http://scikit-learn.org/

TensorFlow

Tensor张量Flow数据流

• TensorFlow是一个采用数据流图，用于数值计算的开源软件库，节点在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组，即张量。
• 它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。
• TensorFlow最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。

TensorFlowde的特点

高度的灵活性，真正的可移植性，将科研和产品联系在一起，自动求微分，多语言支持，性能最优化

TensorFlowde安装方法

• 仅使用CPU的版本
  pip install https：//storage.googlepis.com/tensorflow/linux/cpu/tensorflow-flow-0.5.0-cp27-none-linux_x86_64.whl
• 开启GPU支持的版本（安装该版本的前提是已经安装好了CUDA sdk）
  pip install https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl
  基于virtualenv的安装方法
  首先，安装所有必备的工具:
  LINUX上： sudo apt-get install python-pip python-dev python-virtualenv
  mac上： sudo easy_install pip #如果还没有安装pip
sudo pip install --upgrade virtualenv