数据质量监控Griffin——打包方式安装部署
Posted AresCarry
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据质量监控Griffin——打包方式安装部署相关的知识，希望对你有一定的参考价值。
一、安装部署
依赖准备
-
JDK（1.8 或更高版本）
-
mysql(5.6及以上版本)
-
Hadoop（2.6.0 或更高版本）
-
Hive（版本 2.x）
-
Spark（版本 2.2.1）
-
Livy（livy-0.5.0-incubating）
-
ElasticSearch（5.0 或更高版本）
二、安装
1、MySQL：
在MySQL中创建数据库quartz，然后执行Init_quartz_mysql_innodb.sql脚本初始化表信息：
2、Hadoop和Hive：
从 Hadoop 服务器备份配置文件到 Livy 服务器上，这里假设将配置文件/usr/data/conf目录下。
在Hadoop服务器上创建/home/spark_conf目录，将Hive的配置文件hive-site.xml上传到该目录下：
#创建/home/spark_conf目录
hadoop fs -mkdir -p /home/spark_conf
#上传hive-site.x以上是关于数据质量监控Griffin——打包方式安装部署的主要内容，如果未能解决你的问题，请参考以下文章
数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis