数据可视化之Zeppelin

Posted 2021-04-28 大数据与AI人工智能

Zeppelin是一个Apache的孵化项目. 
一个基于web的笔记本，支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook，可以直接在浏览器中写代码、笔记并共享)

多用途笔记本

可实现你所需要的： 
- 数据采集 
- 数据发现 
- 数据分析 
- 数据可视化和协作

支持多种语言，默认是scala(背后是spark shell)，SparkSQL, Markdown 和 Shell。 
 
甚至可以添加自己的语言支持。如何写一个zeppelin解释器

Apache Spark 集成

Zeppelin 提供了内置的 Apache Spark 集成。你不需要单独构建一个模块、插件或者库。 
Zeppelin的Spark集成提供了： 
- 自动引入SparkContext 和 SQLContext 
- 从本地文件系统或maven库载入运行时依赖的jar包。更多关于依赖载入器 
- 可取消job 和 展示job进度

数据可视化

一些基本的图表已经包含在Zeppelin中。可视化并不只限于SparkSQL查询，后端的任何语言的输出都可以被识别并可视化。 

动态表格

Zeppelin 可以在你的笔记本中动态地创建一些输入格式。 
 
更多关于动态表格

协作

Notebook 的 URL 可以在协作者间分享。 Zeppelin 然后可以实时广播任何变化，就像在 Google docs 中一样。 

发布

Zeppelin 提供了一个 URL 用来仅仅展示结果，那个页面不包括 Zeppelin 的菜单和按钮。这样，你可以轻易地将其作为一个iframe集成到你的网站。 

100% 开源

Apache Zeppelin (孵化中) 是 Apache2 许可软件。 请查看源码库 和 如何贡献。

Zeppelin 有着非常活跃的开发社区。加入邮件列表和在我们的问题跟踪上报告问题has a very active development community. Join the Mailing list and report issues on our Issue tracker.

以上翻译自Apache Zeppelin (incubating)官网。 
由于目前并不提供binary安装包，需要自己编译。

编译

mvn clean package -Pspark-1.3 -Dhadoop.version=2.3.0 -Phadoop-2.3 -DskipTests
 
   
   
 

  
    
    
  
1
 
   
   
 

[INFO] ------------------------------------------------------------------------[INFO] Reactor Summary:
[INFO] 
[INFO] Zeppelin .......................................... SUCCESS [8.289s]
[INFO] Zeppelin: Interpreter ............................. SUCCESS [33.977s]
[INFO] Zeppelin: Zengine ................................. SUCCESS [9.707s]
[INFO] Zeppelin: Spark ................................... SUCCESS [2:14.821s]
[INFO] Zeppelin: Markdown interpreter .................... SUCCESS [4.486s]
[INFO] Zeppelin: Shell interpreter ....................... SUCCESS [4.506s]
[INFO] Zeppelin: web Application ......................... SUCCESS [2:09.064s]
[INFO] Zeppelin: Server .................................. SUCCESS [31.863s]
[INFO] Zeppelin: Packaging distribution .................. SUCCESS [0.517s]
[INFO] ------------------------------------------------------------------------[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------[INFO] Total time: 5:58.114s
[INFO] Finished at: Tue Mar 31 18:59:05 PDT 2015[INFO] Final Memory: 76M/307M
[INFO] ------------------------------------------------------------------------
 
   
   
 

  
    
    
  
1
  
    
    
  
2
  
    
    
  
3
  
    
    
  
4
  
    
    
  
5
  
    
    
  
6
  
    
    
  
7
  
    
    
  
8
  
    
    
  
9
  
    
    
  
10
  
    
    
  
11
  
    
    
  
12
  
    
    
  
13
  
    
    
  
14
  
    
    
  
15
  
    
    
  
16
  
    
    
  
17
  
    
    
  
18
  
    
    
  
19
 
   
   
 

编译成功（网络不好的话，需要时间长）。 
启动：

zhf@ubuntu:~/Downloads/incubator-zeppelin$ ./bin/zeppelin-daemon.sh startPid dir doesn't exist, create /home/zhf/Downloads/incubator-zeppelin/run Zeppelin start                                             [  OK  ]
 
   
   
 

  
    
    
  
1
  
    
    
  
2
  
    
    
  
3
 
   
   
 

浏览器中打开：http://localhost:8080 即可进入Zeppelin首页。 
开始创建一个notebook，即可使用。