H2O’s Deep Learning

Posted 2020-09-24

简介

　　H2O的深度学习基于多层前馈人工神经网络，该网络是由使用了反向传播的随机梯度下降算法训练而来该网络可以包含大量由携带tanh、rectifier、maxout激活函数的神经元组成的隐藏层。如自适应学习率、率退火、动量训练、dropout, L1 or L2 regularization, checkpointing, and grid等高级特性的研究得到高预测准确度。每个计算节点在本地数据上用多线程训练一个全局模型参数的拷贝，通过网络周期地向全局模型传输。

　　前馈人工神经网络（ANN）模型，又称为深度神经网络（DNN），或者多层感知器（MLP），是唯一被H2O-3所支持的。几个其他类型的DNN也很流行，比如卷积神经网络（Convolutional Neural Networks）和循环神经网络（Recurrent Neural Networks）。MLP善于处理相互之间有关系的数据，CNN善于处理图像，RNN善于处理时序性数据（如文本、声音）。H2O深水（Deep Water）项目通过与第三方深度学习库集成支持CNN和RNN，如TensorFlow, Caffe 和 MXNet。