一周精选技术小文：Python 深度学习框架回顾；机器学习中的数学知识；52 个有用的机器学习与预测 API 盘点
Posted AI前线
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一周精选技术小文：Python 深度学习框架回顾；机器学习中的数学知识；52 个有用的机器学习与预测 API 盘点相关的知识，希望对你有一定的参考价值。
最近我一直在思考某个 Data Science Stack Exchange 上存在很久的问题：什么才是最好的基于 Python 的神经网络库？ 在过去的两年半的时间里涌现出了很多基于 Python 的 深度学习框架，而我 2014 年七月份推荐的 pylearn2 这个框架早已物是人非，不再维护。
可喜的是已经有不少优秀的深度学习框架填补了它的空缺，成为了 indico 日常产品开发中重要的组成部分。当然，尺有所短，寸有所长，每个框架都有其优势与不足；我也希望在本文中基于自己的工作经历对于 2017 年中的 Python 深度学习生态进行一个综合宏观的介绍，希望为初学者勾勒出一幅清晰的群雄逐鹿图。
Theano 是一个允许你定义、优化以及高效执行包含多维数组的数学表达式的 Python 库；它支持 GPU 操作，并且能够进行高速的符号微分运算。
文档：
Theano 不仅仅是一个可以独立使用的库，它还是我们下面介绍的很多框架的底层数值计算引擎；它来自蒙特利尔大学 MILA 实验室，由 Frédéric Bastien 最早创建。Theano 提供的 API 相对底层，因此如果你希望高效运行 Theano， 你必须对它的底层算法非常熟悉。如果你拥有丰富的机器学习理论知识与经验，并且你希望对于自己的模型有细粒度的控制或者自己动手创建新的模型，那么 Theano 是个不错的选择。总结而言，Theano 最大的优势就是其灵活性。
优势：
相对灵活
正确使用的话性能较好
不足：
陡峭的学习曲线
大量的底层 API
编译复杂符号图的时候可能会很慢
基于 Theano 的轻量级神经网络构建与训练库。
文档：
鉴于 Theano 着重打造面向符号数学的工具库，Lasagne 提供了基于 Theano 的相对高层的抽象，使它对于偏向工程的深度学习开发者更为友好。它最早由 DeepMind 的研究学者 Sander Dieleman 开发与维护。不同于 Theano 中网络模型需要指定为符号变量的表达式，Lasagne 允许用户以层的概念来定义网络，并且引入了所谓的 “Conv2DLayer” 与 “DropoutLayer”。Lasagne 以牺牲部分灵活性为代价提供了常用的组件来进行层构建、初始化、模型正则化、模型监控与模型训练。
优势：
还是比较灵活的
比 Theano 提供了更高层的抽象接口
文档与代码更为条理清晰
不足：
社区并不是很活跃
基于 Theano 的神经网络构建与训练框架。
文档：
类似于 Lasagne，Blocks 在 Theano 的基础上添加了对于层的抽象，从而方便定义更加清晰，简单且标准的深度学习模型。它同样来源于蒙特利尔大学的 MILA 实验室，同样也是 Theano 与 PyLearn2 的作者。Blocks 相对于 Lasagne 具有更复杂的学习曲线，不过它也提供了更加灵活的接口操作。除此之外，Blocks 对于循环神经网络架构有非常好的支持，因此我个人很推荐你尝试下它；Blocks 也是除了 TensorFlow 之外我们在 indico 工作中首先考虑的选择了。
优势：
还是比较灵活的
比 Theano 提供了更高层的抽象接口
提供了相对完备的测试
不足：
陡峭的学习曲线
社区不是很活跃
使用数据流图进行数值计算的开源软件库。
文档：
TensorFlow 集成了类似于 Theano 这样底层的符号计算功能，也包含了类似于 Blocks 或者 Lasagne 这样的高层 API。尽管 TensorFlow 登上 Python 深度学习库的时间尚短，但是它已经成为了最受瞩目、社区最为庞大的工具。TensorFlow 由 Google 大脑团队发布并且维护，它支持多 GPU 的机器学习模型，提供了高效的数据管道以及内建的用于审视、可视化以及序列化模型的功能。最近 TensorFlow 团队决定添加对于 Keras 的内建支持，使得 TensorFlow 具备更好的可用性。尽管社区都认同 TensorFlow 是有缺陷的，但是因为其社区的庞大与项目背后支持力量，学习 TensorFlow 会是个不错的选择；TensorFlow 也是现在 indico 的首选机器学习库。
优势：
由 Google 支持
社区很繁荣
同时提供了底层与高层的网络训练接口
比 Theano 能够更快地训练模型
清晰的多 GPU 支持
不足：
一开始的时候性能不是很好
对 RNN 的支持度仍然落后于 Theano
支持卷积神经网络，循环神经网络的 Python 深度学习库，能够运行在 Theano 或者 TensorFlow 之上。
文档：
Keras 算是这个列表中提供了最高层接口、用户使用最友好的深度学习库了。它由 Google 大脑团队的 Francis Chollet 创建与维护；它允许用户自由选择底层模型构建框架，可以是 Theano 或者 TensorFlow。Keras 的用户交互借鉴了 Torch，如果你有基于 Lua 进行机器学习的经验，Keras 会是很值得一试的工具。因为 Keras 完善的文档与简单易用的接口，Keras 的社区非常繁荣与活跃。最近，TensorFlow 团队宣布计划将内建支持 Keras，因此不久的将来 Keras 会是 TensorFlow 项目的子集了吧。
优势：
你可以自由选择使用 Theano 或者 TensorFlow
直观，高级的接口
相对简单的学习曲线
不足：
与其他相比灵活性略差
MXNet 致力于提供兼顾性能与灵活性的深度学习框架。
文档：
作为 Amazon 的钦定深度学习框架，MXNet 也算是性能最好的深度学习框架之一了。它提供了类似于 Theano 与 TensorFlow 的数据流图，并且支持多 GPU 配置 ，提供了类似于 Lasagne 与 Blocks 的相对高阶的模型构建块，还能运行在多种硬件设备上（包括移动设备）。Python 只是 MXNet 支持的多种语言之一，它还提供了基于 R, Julia, C++, Scala, Matlab 以及 javascript 的多种接口。如果你专注于效率，那么 MXNet 是个不二选择，不过你可能会要让自己习惯 MXNet 中很多的奇怪设定。
优势：
相当快的评测结果
彻底的灵活性
不足：
社区最小
比 Theano 更陡峭的学习曲线
支持强力 GPU 加速的 Python Tensor 与 动态神经网络库。
文档：
PyTorch 问世不过数周，在我们的深度学习框架列表中尚属新生儿。虽然 PyTorch 主要基于 Lua Torch， 但是它是由 Facebook 人工智能研究团队（FAIR）支持的，并且它设计初衷就是用来处理动态计算图问题，这个特性也是其他的 Theano，TensorFlow，以及其他扩展框架所没有的。虽然 PyTorch 尚未成熟，但是因为它这一特性我们相信它会在未来的 Python 深度学习生态系统中占据一席之地，并且我们认为它是个非常不错的选项。
优势：
由 Facebook 支持与维护
支持动态图计算
同时提供了高层接口与底层接口
不足：
与竞争者相比还不成熟
除了官方文档之外的相关资料尚处于短缺
机器学习是一个涉及到统计学、概率论、计算机科学和算法等方面的交叉领域，从数据中反复学习，并找出其中可用于构建智能应用的潜在关系。尽管机器学习和深度学习具有巨大的可能性，但是如果要很好地掌握算法的工作原理并得到好的结果，对这些技术的全面的数学理解还是很必要的。
Facebook人工智能实验室主任Yann LeCun在2014年的一篇采访（中文版详见infoq）中就建议“打算进入这个领域的人本科的时候就应该多学数学、统计学还有物理学”，良好的数理基础会让机器学习事半功倍。
物理学博士Wale Akinfaderin在一篇文章中总结了机器学习中的数学为什么会那么重要：
机器学习需要选择正确的算法，需要考虑准确度、训练时间、模型复杂度、模型参数数量和特征数量。
机器学习需要选择参数设置和验证方法。
机器学习需要通过理解偏差-方差来判断欠拟合和过拟合。
机器学习需要估计置信区间和不确定度。
机器学习中哪些数学知识是必备的
那么学习机器学习应该具备哪些数学知识呢？这取决于你的兴趣以及你想做什么。Wale为我们整理了一下机器学习科学家/工程师必须具备的最低程度的数学知识和概念：
线性代数：在机器学习中，线性代数随处可见。主成分分析（PCA）、奇异值分解（SVD）、矩阵的特征分解、LU分解、QR分解、对称矩阵、正交化和正交归一化、矩阵的运算、分解和向量空间等，这些都是理解机器学习中的优化方法所必须的。
概率论和统计学：机器学习和统计学并不是很不同的领域。实际上，有人最近将机器学习定义为“在Mac上做的统计”。机器学习所需的一些基本统计和概率理论主要有：组合学、概率规则和公理、贝叶斯定理、随机变量、方差和期望、条件和联合分布、标准分布（伯努利分布、二项式分布、多项式分布、均匀分布和高斯分布等）、动差生成函数、最大似然估计（MLE）、先验和后验、最大后验估计（MAP）和抽样方法。
多元微积分：一些必要的内容包括微积分、偏导数、矢量值的函数、定向梯度、Hessian、 Jacobian、Laplacian和Lagragian分布。
算法和优化理论：这对我们理解机器学习算法的计算效率和可拓展性以及怎么利用数据中的稀疏性很重要。需要的知识主要包括：数据结构（二叉树、散列、堆、堆栈等），动态规划，随机和次线性算法，图论，梯度/随机下降和原始-对偶方法。
其他还包括：复变函数（集合和序列、拓扑结构、度量空间、单值和连续函数、极限等）、信息论（熵、信息增益）、函数空间和流形。
当然,以上只是强调了机器学习中数学的重要性以及一些必要的数学内容。作为初学者，你没有必要等到具有很强的数学功底之后才开始机器学习，现在一些简单易用的机器学习和深度学习工具包比如scikit-learn、Tensorflow就可以帮助你搭建自己的模型。
正如Daniel Jeffries在其系列文章《Learning AI if You Suck at Math》中所说，数学可以帮你更加清楚的理解机器学习的深层含义，但是只要你具备了一些数学基础，那么你马上就可以开始。现在的一些主流的工具包和框架都有比较详细的安装和使用教程，他的学习方法就是实践：
选择一个项目
克服自我否定
大胆尝试，不怕失败
不断练习
当然，文中他还推荐了基本数学与机器学习参考书，比如《Mathematics: A Very Short Introduction》（中文译本：《牛津通识读本：数学》）、《Algebra Unplugged》、《Make Your Own Neural Network》以及 Ian Goodfellow 的《Deep Learning》，但是其中大多数都是英文，如果你想深入学习的话，可以参考github上整理的机器学习学习路线。同时，一些经典中文教材比如李航老师的《统计学习方法》和南京大学周志华老师的《机器学习》都是很值得学习的，里面的一些机器学习算法都有详细的数学推导和介绍。
本文介绍了超过 50 个机器学习、预测、文本分析与分类、人脸识别、文本翻译等等领域的开放 API ，这些 API 来源于 IBM、Google 以及 Microsoft 这些在人工智能领域迅猛发展的公司，希望能够帮助开发者让他们的应用更加的智能。
随着基于人工智能与机器学习的应用如雨后春笋般不断涌现，我们也看到有很多提供类似功能的 API 悄悄登上了舞台。 API 是用于构建软件应用的程序、协议以及工具的组合；本文是对2015 中这个列表的修正与完善，移除了部分被废弃的 API ；我们也添加了最近由 IBM、Google、Microsoft 这些大厂发布的 API 。所有的 API 可以根据应用场景进行分组：
人脸与图片识别。
文本分析，自然语言处理以及情感分析。
语言翻译。
预测以及其他的机器学习算法。
在具体的每个分组内，我们根据首字母顺序排序； API 的描述信息源自截止到 2017 年 2 月 3 日对应主页上的描述。如果你发现存在未被收录的流行的 API 可以在评论中留言，我们会将其增补到列表中。
Animetrics Face Recognition: 该 API 能够用于图片中的人脸检测，并且将其与已知的部分人脸进行匹配分析；该 API 还支持从某个待搜索的集合中添加或者移除某个分类，或者从某个分类中添加或者删除某张人脸图片。
Betaface: 同样是提供人脸识别与检测的在线服务。它支持多人脸检测、人脸裁剪、123 个人脸特征点提取、人脸验证、识别以及大型数据库中的相似性搜索提取。
Eyedea Recognition: 致力于提供高阶的计算机视觉解决方案，主要包括对象检测与识别。其识别服务提供了常见的眼部、人脸、车辆、版权以及果盘识别，该 API 主要的价值在于对于对象、用户以及行为的快速识别。
Face++: 为应用提供面部的检测、识别以及分析服务，用户可以通过 API 调用训练模型，进行人脸检测、人脸识别、人脸分类、图像修正、创建人脸分组等等服务。
FaceMark: 提供了能够在正面照片中检测 68 个特征点以及侧面照片中检测 35 个特征点的服务。
FaceRect: 提供了非常强力与完整的面部检测的 API ，包括在正面照片与侧面照片中检测面部以及在单张照片中提取多个面部的功能；它还能将结果以 JSON 格式输出，包括检测到的眼睛、鼻子、嘴等等面部特征。
Google Cloud Vision API: 架构于著名的 TensorFlow 之上，能够高效地学习与预测图片中的内容。它能够有助于用户搜索最爱的图片，并且获取图片中丰富的注释。它还能将图片按照船、狮子、埃菲尔铁塔等等不同的类别进行分类，并且对照片中不同表情的面部进行识别，除此之外它还能将图片中不同国家的语言打印出来。
IBM Watson Visual Recognition: 该 API 能够辅助理解图片内容，包括图片标记、人脸识别、年龄估计以及性别判断，还能根据人脸相似度进行搜索。开发者能够在该服务的基础上结合自身业务特点定制出各式各样奇妙的产品。
Kairos: 该平台方便开发者快速添加 情感分析 与 人脸识别 的功能到应用与服务中。
Microsoft Cognitive Service - Computer Vision: 该 API 能够根据用户输入与用户选择分析可视化内容。譬如根据内容来标记图片、进行图片分类、人类识别并且返回他们的相似性、进行领域相关的内容识别、创建图片的内容描述、定位图片中的文本、对图片内容进行成人分级等。
Rekognition: 该 API 能够根据社交图片应用的特点提供快速面部识别与场景识别。譬如基于人眼、嘴、面部以及鼻子等等特征进行性别、年龄以及情绪预测。
Skybiometry Face Detection and Recognition: 该 API 提供人脸检测与识别服务，新版本的 API 还提供了深色微分功能。
Bitext 提供了目前市场上来说几乎最准确的基于情感的多主题识别，目前包括四个语义服务：实体与概念抽取、情感分析与文本分类；该 API 总共支持 8 种不同的语言。
Diffbot Analyze: 为开发者提供了从任何网页中识别、分析以及提取主要内容与区块的功能。
Free Natural Language Processing Service: 提供了包括情感分析、内容提取以及语言检测等功能。它同样是 mashape.com 这个大型云 API 市场中的畅销产品之一。
Google Cloud Natural Language API: 该 API 提供了对于文档的架构与含义进行分析的功能，包括情感分析、实体识别以及文本标注等。
IBM Watson Alchemy Language: 该 API 能够辅助电脑学习如何阅读以及进行一些文本分析任务。譬如将非结构化数据按照领域模型转化为结构化数据，使其能够服务于社交媒体监测、商业智能、内容推荐、商业交易以及定向广告等等服务。
MeaningCloud Text Classification: 该 API 提供了部分预分类的功能：文本提取、分词、停用词设置以及同义词提取等等。
Microsoft Azure Text Analytics API 基于 Azure Machine Learning 实现的一系列文本分析服务。该 API 能够用于情感分析、关键语句提取、语言检测以及主题识别这些非结构化文本的处理任务。该 API 并不需要使用者提供相关的训练数据，能够大大降低使用门槛。
Microsoft Cognitive Service - Text Analytics: 提供了情感检测、关键语句提取、主题以及语言分析等功能。该分组中其他的 API 还包括 Bing 拼写检测、语言理解、文本分析、Web 语言模型等等。
nlpTools: 简单的采用 JSON 传输格式的提供了自然语言处理功能的 HTTP RESTful 服务。它能够提供对于在线媒体的情感分析与文本分类等服务。
Semantic Biomedical Tagger: 能够利用文本分析技术提取出文档中的 133 个生物医药学相关的实体词汇并且将它们链接到知识库中。
Thomson Reuters Open Calais™: Calais 基于自然语言处理与机器学习技术，能够分类与关联文档中的实体信息（人名、地名、组织名等）、事实信息（员工 x 为公司 y 工作）、事件信息（员工 z 在 x 日被任命为 y 公司的主席） 。
Yactraq Speech2Topics 提供了基于语音识别与自然语言处理技术的将语音内容转化为主题数据的云服务。
Google Cloud Translation: 能够在数以千计的语言之间完成文本翻译工作。该 API 允许网页或者程序方便地接入这些翻译服务。
IBM Watson Language Translator: 能够在不同语言之间进行文本翻译，该服务允许开发者基于独特的领域术语与语言特性进行自定义模型开发。
LangId: 能够快速地从多语言中检索结果的服务，并不需要使用者指定哪种语言，并且能够返回结果对应的语言类型。
Microsoft Cognitive Service - Translator: 能够自动地在翻译之前进行语言类型检测，支持 9 种语言的语音翻译以及 60 种语言的文本翻译。
MotaWord: 快速地人工翻译平台，提供了超过 70 种语言支持。该 API 同样允许开发者查询翻译报价、上传带有文档说明与样式指南的翻译项目请求、自动追踪翻译进度以及进行实时反馈等。
WritePath Translation: API 允许开发者将 WritePath 功能集成到自定义应用中，包括字数检索、提交文本翻译任务、以及获取翻译信息等等。
Amazon Machine Learning: 寻找数据中的隐藏模式信息，典型的用法包括诈骗检测、天气预报、市场营销以及点击预测等。
BigML: 提供基于云的机器学习与数据分析服务，允许用户以 HTTP 请求的方式自己创建数据源以及选择合适的模型来处理有监督或者无监督的机器学习任务。
Ersatz: 基于 GPU 支持的深度神经网络提供的预测服务，允许用户以 API 方式进行交互。Ersatz 中还利用增强学习来合并不同的神经网络模型来提升整体的效果。
Google Cloud Prediction: 提供了用于构建机器学习模型的 RESTful API 。这些工具能够通过分析数据来提取出应用中数据的不同特征，譬如用户情感、垃圾信息检测、推荐系统等等。
Google Cloud Speech API: 能够提供超过 80 种语言的快速与准确的语音识别以及转化服务。
Guesswork.co: 能够为电商网站提供产品推荐引擎，Guesswork 可以通过基于 Google 预测 API 构建的语义化引擎来对用户行为进行预测。
Hu:toma: 帮助世界各地的开发者构建商用级别的深度学习聊天机器人。
IBM Watson Conversation : 帮助构建可以部署在多个消息平台或者网页上的，能够理解自然语言的聊天机器人。其他类似的 API 还包括 Dialog、Natural Language Classifier、Personality Insights、Document Conversion 以及 Tone Analyzer.
IBM Watson Speech : 包含了 语音到文本 以及 文本到语音 之间的转化功能（譬如创建语音控制的应用）。
IBM Watson Data Insights: 该系列的服务包含了三个 API ：AlchemyData News、Discovery 以及 Tradeoff Analytics。AlchemyData 提供了对于大量的新闻、博客内容的高级别定向搜索与趋势分析的服务。Tradeoff Analytics 则是帮助用户在多目标优化时进行有效抉择。
IBM Watson Retrieve and Rank: 开发者可以将自定义数据导入到服务中，并且使用相关的关联发算法来训练机器学习模型。服务的输出包括了一系列相关的文档与元数据，譬如某个联络中心的代理能够基于该服务提高呼叫的平均处理时间。
Imagga: 能够为你的图片自动打标签，从而允许你的图片可以被关联搜索到。
indico: 提供了文本分析（情感分析、Twitter 参与度、表情分析等）以及 图片分析（面部表情识别、面部定位）。indico 的 API 可以免费试用并且不需要任何的训练数据。
Microsoft Azure Cognitive Service API : 基于预测分析提供机器学习推荐服务，譬如个性化产品推荐等，可以用来代替传统的 Azure Machine Learning Recommendations 服务。新版本提供了批处理支持，更好地 API 检索服务、更清晰的 API 使用界面以及更好的注册与账单界面等。
Microsoft Azure Anomaly Detection API : 能够在序列数据中检测出异常数据，譬如检测内存使用过程中是否存在内存泄露的情况。
Microsoft Cognitive Service - QnA Maker: 将信息提取为会话式的、易于浏览的数据形式。其他类似的 API 还包括 Academic Knowledge、Entity Linking、Knowledge Exploration以及Recommendations。
Microsoft Cognitive Service - Speaker Recognition: 帮助应用来分析检测出当前的发言者。其他的类似于的 API 还包括Bing Speech （将语音转化为文本并且理解其大致含义）、 Custom Recognition 等等。
NuPIC : 由 NuPIC 社区运行与维护的开源项目，其基于 Python/C++ 实现了 Numenta's Cortical Learning 算法并对外提供 API 服务。该 API 允许开发者能够使用基本算法或者分层算法，也可以选择使用其他的平台功能。
PredicSis: 能够通过预测分析与大数据技术提供市场营销的效用与收益。
PredictionIO: 基于 Apache Spark、HBase 以及 Spray 这些著名的开源项目搭建的开源机器学习服务。典型的 API 包括了创建与管理用户信息及其行为记录、检索项目与内容、基于用户进行个性推荐等等。
RxNLP - Cluster Sentences and Short Texts: 提供了文本挖掘与自然语言处理的服务。其中语句聚类 API 能够将不同的语句进行分类，譬如将不同新闻文章中的语句或者 Twitter、Facebook 上提取出来的短文本划分到不同的分组中。
Sightcorp F.A.C.E.: 该 API 能够帮助第三方应用来更好地理解用户行为，并且根据年龄、性别、面部表情、头部姿势以及种族划分来进行相似面部的分析与搜索。
今日荐文
《图解Spark：核心技术与案例实战》作者经验谈
成长是永远的话题。推荐一个对技术人员的成长很有帮助的线下会议，将于4月16～18日举行的QCon全球软件开发大会（北京站），目前已经邀请来自Google、Facebook、LinkedIn、Airbnb、百度、阿里巴巴、腾讯等公司的100多位一线技术专家，是难得的线下交流学习的机会。
以上是关于一周精选技术小文：Python 深度学习框架回顾；机器学习中的数学知识；52 个有用的机器学习与预测 API 盘点的主要内容，如果未能解决你的问题，请参考以下文章
真正源于产业实践的深度学习框架丨PaddlePaddle年终回顾
第 9 期 · 分享回顾 | 袁雪：多任务深度学习框架在 ADAS 中的应用
精选的Python框架，库，软件和资源的精选清单墙裂推荐收藏