Spark的Notebook工具汇总

Posted asin929

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark的Notebook工具汇总相关的知识,希望对你有一定的参考价值。


工具汇总

当前Spark的Notebook工具主要有四个,


优缺点

上述四个工具都可以作为Spark代码的notebook工具,但特点不同。

Jupyter是轻量级别的,打开关闭都很快,并且开启的是相当于是一个最小Spark集群,故适合代码快速测试。

Zeppelin发展迅速,特别时候数据分析,数据可视化。

Spark-notebook的资源最为丰富,提供适用于所有环境的所有版本,并且自带很多机器学习等示例。唯一的缺点是有时候界面加载特别慢。

HUE的notebook发展比较慢,比如即使是最新的3.10版,其虽然支持spark notebook,但还需自己手动配置,比较麻烦。但HUE中整合了其它的许多大数据资源,比如HDFS,Job,Hive等,提供了数据提取、分析的一站式平台,所以其非常适合作为生产环境的Notebook工具。


总结

上述软件不同的定位使得其有了各自的不同的应用场景,大家根据自己的需要来自己选取。

当然,上述四个工具还在飞速发展中,软件的功能也不仅仅只是作为Spark Notebook。


更多

以上是关于Spark的Notebook工具汇总的主要内容,如果未能解决你的问题,请参考以下文章

Hue添加Spark notebook

如何将 Spark-Notebook 连接到 Hive 元存储?

如何用Jupyter Notebook打开Spark

IPython Notebook 运行python Spark程序

HUE配置Spark Notebook

从本地 jupyter notebook 连接到 spark 集群