审计配置单元表

Posted

技术标签:

【中文标题】审计配置单元表【英文标题】:Audit hive table 【发布时间】:2018-12-19 04:10:23 【问题描述】:

我有一个 hive 表,可以说它是表 A。我的要求是捕获表 B 中表 A 上的所有 DML 和 DDL 操作。有什么方法可以捕获相同的吗?

提前谢谢..

【问题讨论】:

【参考方案1】:

我没有遇到过任何这样的工具,但是 Cloudera Navigator 可以帮助管理它。请参阅详细文档。

Cloudera Navigator

Cloudera Navigator 审核支持跟踪访问:

    HDFS、Hive、HBase、Impala 和 Solr 访问的 HDFS 实体 服务 HBase 和 Impala Hive 元数据 哨兵 太阳能 Cloudera Navigator 元数据服务器

或者,如果您不使用 cloudera 发行版,您仍然可以访问 /var/log/hive/hadoop-cmf-hive-HIVEMETASTORE.log.out 下的 hive-metastore 日志文件并检查应用于不同表的更改.

【讨论】:

【参考方案2】:

我还没有使用过 Apache atlas,但是从文档来看,他们似乎有 Audit store 和 hive bridge。这也适用于运营事件。

https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.1/atlas-overview/content/apache_atlas_features.html

【讨论】:

以上是关于审计配置单元表的主要内容,如果未能解决你的问题,请参考以下文章

从另一个配置单元表刷新一个配置单元表

来自 Datagridview C# 的审计表

如何使用配置单元外部配置单元表创建一个空数据框?

使用 java 创建具有约束的配置单元表并使用 jdbc 程序检查配置单元表的列约束

将数据从源配置单元表的多列复制到目标配置单元表的不同行的单列

如何将按月分区的配置单元表中的数据加载到按周分区的配置单元表中