审计配置单元表
Posted
技术标签:
【中文标题】审计配置单元表【英文标题】:Audit hive table 【发布时间】:2018-12-19 04:10:23 【问题描述】:我有一个 hive 表,可以说它是表 A。我的要求是捕获表 B 中表 A 上的所有 DML 和 DDL 操作。有什么方法可以捕获相同的吗?
提前谢谢..
【问题讨论】:
【参考方案1】:我没有遇到过任何这样的工具,但是 Cloudera Navigator 可以帮助管理它。请参阅详细文档。
Cloudera Navigator
Cloudera Navigator 审核支持跟踪访问:
-
HDFS、Hive、HBase、Impala 和 Solr 访问的 HDFS 实体
服务
HBase 和 Impala
Hive 元数据
哨兵
太阳能
Cloudera Navigator 元数据服务器
或者,如果您不使用 cloudera 发行版,您仍然可以访问 /var/log/hive/hadoop-cmf-hive-HIVEMETASTORE.log.out 下的 hive-metastore 日志文件并检查应用于不同表的更改.
【讨论】:
【参考方案2】:我还没有使用过 Apache atlas,但是从文档来看,他们似乎有 Audit store 和 hive bridge。这也适用于运营事件。
https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.1/atlas-overview/content/apache_atlas_features.html
【讨论】:
以上是关于审计配置单元表的主要内容,如果未能解决你的问题,请参考以下文章
使用 java 创建具有约束的配置单元表并使用 jdbc 程序检查配置单元表的列约束