数据质量监控Griffin——使用

Posted AresCarry

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据质量监控Griffin——使用相关的知识,希望对你有一定的参考价值。

一、环境

生产环境

数据质量监控griffin:

地址:http://XXXXXXXXX:4200/#/health

账号:admin

密码:123456

二、Griffin是干什么的?

官方介绍

大数据模块是大数据平台中数据方案的一个功能组件,Griffin(以下简称Griffin)是一个开源的大数据数据解决质量模式,它支持所有数据和流数据方式检测质量模式,可以从不同维度(不同标准执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等)收集数据资产,从而提高数据的准确度、可信度。

在格里芬的架构中,主要分为定义、测量和分析三个部分,如下图所示:

在这里插入图片描述

各部分的职责如下:

  • Define:主要负责定义数据质量统计的维度,比如数据质量统计的时间跨度、统计的目标(源端和目标端的数据数量是否一致,数据源里某一字段的非空的数量、不重复值的数量、最大值、最小值、top5的值数量等)

以上是关于数据质量监控Griffin——使用的主要内容,如果未能解决你的问题,请参考以下文章

数据质量监控Griffin——docker部署

Linux搭建数据质量监控 Griffin

数仓之数据质量及Apache Griffin简介

数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis

数据质量监控Griffin——打包方式安装部署

Apache griffin的搭建及应用