Spark的Notebook工具汇总
Posted asin929
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark的Notebook工具汇总相关的知识,希望对你有一定的参考价值。
工具汇总
当前Spark的Notebook工具主要有四个,
- Jupyter:
- Zeppelin
- Spark Notebook:
- 安装:github地址
- HUE
优缺点
上述四个工具都可以作为Spark代码的notebook工具,但特点不同。
Jupyter是轻量级别的,打开关闭都很快,并且开启的是相当于是一个最小Spark集群,故适合代码快速测试。
Zeppelin发展迅速,特别时候数据分析,数据可视化。
Spark-notebook的资源最为丰富,提供适用于所有环境的所有版本,并且自带很多机器学习等示例。唯一的缺点是有时候界面加载特别慢。
HUE的notebook发展比较慢,比如即使是最新的3.10版,其虽然支持spark notebook,但还需自己手动配置,比较麻烦。但HUE中整合了其它的许多大数据资源,比如HDFS,Job,Hive等,提供了数据提取、分析的一站式平台,所以其非常适合作为生产环境的Notebook工具。
总结
上述软件不同的定位使得其有了各自的不同的应用场景,大家根据自己的需要来自己选取。
当然,上述四个工具还在飞速发展中,软件的功能也不仅仅只是作为Spark Notebook。
更多
以上是关于Spark的Notebook工具汇总的主要内容,如果未能解决你的问题,请参考以下文章
如何将 Spark-Notebook 连接到 Hive 元存储?