Intel开源了基于Apache Spark的分布式深度学习框架BigDL

Posted 2021-04-29 过往记忆大数据

本文转载自：http://www.infoq.com/cn/news/2017/01/bigdl-deep-learning-on-spark

开源了基于的分布式深度学习框架。BigDL借助现有的Spark集群来运行深度学习计算，并简化存储在Hadoop中的大数据集的数据加载。

在上运行的测试结果表明，BigDL比其他开源框架、和有显著的性能提升。BigDL速度可与主流GPU匹敌，而且能够扩展到数十个Xeon服务器。

BigDL库支持Spark 1.5、1.6和2.0版本，并容许将深度学习嵌入在现有的Spark程序中。BigDL库中有把Spark RDDs转换为BigDL DataSet的方法，并且可以直接与一起使用。

对于模型训练，BigDL使用了在多个执行器中执行单个Spark任务的同步小批量SGD（）。每个执行器运行一个多线程引擎并处理一部分微批次数据。在当前版本中，所有的训练和验证数据都存储到存储器中。

BigDL使用Scala开发，并参考了Torch的模型。像Torch一样，它有一个使用库进行计算的Tensor类。Intel MKL（Math Kernel Library）是由一系列为计算优化过的小程序所组成的库，这些小程序从（快速傅立叶变换）到矩阵乘法均有涉及，常用于深度学习模型训练。Module是另一个从Torch借鉴而来的概念，它的灵感来自Torch的。Module代表单独的神经网络层、和。

BigDL提供了一个和一些示例，比如使用进行，还有以及如何将在Torch或Caffe中预训练过的Spark中进行预测计算。来自社区的请求主要包括提供对的支持和（MKL的深度学习扩展）。

猜你喜欢

1、回复 掌握spark 获取 《Mastering Apache Spark》电子书

2、回复 高性能spark 获取 《High Performance Spark》电子书

3、回复 大数据分析 获取 《Big Data Analytics》电子书

4、回复 spark2电子书 获取 《Apache Spark 2 for Beginners》电子书

5、回复 spark2_data 获取  《Spark for Data Science》电子书

6、回复 架构师大会ppt 获取 《2016年中国架构师[大数据场]》 PPT

7、回复 intro_flink 获取 《Introduction to Apache Flink》 电子书

8、回复 spark_summit_ppt  获取 《Spark Summit 2016 Europe全部PPT》

9、回复 flink未来 获取 《The Future of Apache Flink》

10、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop)

点击下方阅读原文免费报名