交互式数据分析工具之Apache Zeppelin

Posted 2021-04-01 StreamCloudNative

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了交互式数据分析工具之Apache Zeppelin相关的知识，希望对你有一定的参考价值。

Apache Zeppelin 是什么？

Apache Zeppelin，是基于 Web 的笔记本，可通过SQL，Scala 等实现数据驱动的交互式数据分析和协作文档。

主要功能包含：

资料摄取
数据发现
数据分析
数据可视化与协作

Apache Zeppelin 的特性

多语言后端

Apache Zeppelin 解释器概念允许将任何语言/数据处理后端插入 Zeppelin。目前，Apache Zeppelin 支持许多解释器，例如 Apache Spark，Python，JDBC，Markdown 和 Shell。

支持多用户

多用户使用 Shiro 身份验证登录/注销
管理笔记本权限
如何设置模拟解释器
使用解释器绑定模式，每个用户/注释的上下文不同
笔记本中的段落可以个性化
通过 Websocket 实时传播笔记本中的更改

集成 Apache Spark

Apache Zeppelin 提供了内置的 Apache Spark 集成，用户无需为其构建单独的模块，插件或依赖库。

交互式数据分析工具之Apache Zeppelin

Apache Zeppelin 与 Spark 集成提供如下功能：

SparkContext 和 SQLContext 自动注入
从本地文件系统或 Maven 存储库加载运行时 jar 依赖项。
取消作业并显示其进度

Zeppelin 中支持的 SQL

Zeppelin 提供了 JDBC 解释器，可以无缝连接任何 JDBC 数据源

Postgres
mysql
MariaDB
AWS Redshift
Apache Hive
Apache Phoenix
Apache Drill
Apache Tajo
...

数据可视化

Apache Zeppelin 中已经包含一些基本图表。可视化不仅限于 SparkSQL 查询，任何语言后端的任何输出都可以被识别和可视化。

交互式数据分析工具之Apache Zeppelin

数据透视图表

Apache Zeppelin 汇总值并通过简单的拖放将其显示在数据透视图中，这样用户可以轻松地创建具有多个汇总值的图表，包括总和、计数、平均值、最小值、最大值。

交互式数据分析工具之Apache Zeppelin

动态表单

Apache Zeppelin 可以在笔记本中动态创建一些输入表单。

交互式数据分析工具之Apache Zeppelin

通过共享的笔记本和段落进行协作

用户的笔记本 URL 可以在协作者之间共享，然后，Apache Zeppelin 将实时广播所有更改，就像 Google 文档中的协作一样。

交互式数据分析工具之Apache Zeppelin

Apache Zeppelin 解释器（Interpreter）

Apache Zeppelin 解释器是一种语言后端。例如，要在 Zeppelin 中使用 Scala 代码，需要一个 Scala 解释器。每个口译员都属于一个 InterpreterGroup。同一 InterpreterGroup 中的口译员可以相互引用。例如，当SparkSqlInterpreter 在同一组中时，可以引用SparkInterpreter 从中获取 SparkContext。

架构图如下：

交互式数据分析工具之Apache Zeppelin

InterpreterSetting 是给定 InterpreterGroup 和启动/停止解释器单元的配置。同一 InterpreterSetting 中的所有解释器都在一个单独的 JVM 进程中启动。解释器通过 Thrift 与Zeppelin 引擎进行通信。在创建新的解释器时，可以在“解释器设置”菜单上看到的“针对每个独立的解释器（作用域/隔离）”模式下，将为每个音符创建新的解释器实例。但是，当它们位于相同的 InterpreterSettings 中时，它仍然可以在相同的 JVM 上运行。

支持的解释器类型

Spark	JDBC	Python	Alluxio
Beam	BigQuery	Cassandra	Elasticsearch
Flink	Geode	Groovy	HBase
HDFS	Hive	Ignite	Kylin
Lens	Livy	Markdown	Neo4j
Pig	Postgresql	HAWQ	R
Scalding	Scio	Shell

自定义解释器

创建一个新的解释器非常简单，只需扩展 org.apache.zeppelin.interpreter 抽象类并实现一些方法即可。在你的项目中，你需要将 interpreter-parent 设置为你的父工程项目并使用插件 maven-enforcer-plugin，maven-dependency-plugin 和 maven-resources-plugin。

以下是一个示例 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion>    <parent> <artifactId>interpreter-parent</artifactId> <groupId>org.apache.zeppelin</groupId> <version>0.8.0-SNAPSHOT</version> <relativePath>../interpreter-parent</relativePath> </parent>
 ...
 <dependencies> <dependency> <groupId>org.apache.zeppelin</groupId> <artifactId>zeppelin-interpreter</artifactId> <version>${project.version}</version> <scope>provided</scope> </dependency> </dependencies>
 <build> <plugins> <plugin> <artifactId>maven-enforcer-plugin</artifactId> </plugin> <plugin> <artifactId>maven-dependency-plugin</artifactId> </plugin> <plugin> <artifactId>maven-resources-plugin</artifactId> </plugin> </plugins> </build>
</project>

在此，应该将org.apache.zeppelin:zeppelin-interpreter:[VERSION] 解释器的依赖项包含在中pom.xml。将 jars 放在特定目录名称的解释器目录下，Zeppelin 服务按照递归的方式读取解释器目录，并初始化包括自定义的解释器。可以在三个位置存储解释器组，名称和其他信息，Zeppelin 服务尝试在下面找到位置，接下来，Zeppelin 尝试在自定义的 interpreter jar 中查找 interpreter-setting.json。

{ZEPPELIN_INTERPRETER_DIR}/{YOUR_OWN_INTERPRETER_DIR}/interpreter-setting.json

以下是一个自定义的解释器的 interpreter-setting.json 示例。

[ { "group": "your-group", "name": "your-name", "className": "your.own.interpreter.class", "properties": { "properties1": { "envName": null, "propertyName": "property.1.name", "defaultValue": "propertyDefaultValue", "description": "Property description", "type": "textarea" }, "properties2": { "envName": PROPERTIES_2, "propertyName": null, "defaultValue": "property2DefaultValue", "description": "Property 2 description", "type": "textarea" }, ... }, "editor": { "language": "your-syntax-highlight-language", "editOnDblClick": false, "completionKey": "TAB" } }, { ... }]