Hive 真的使用 HCatalog 吗?
Posted
技术标签:
【中文标题】Hive 真的使用 HCatalog 吗?【英文标题】:Does Hive really use HCatalog? 【发布时间】:2015-08-18 11:34:55 【问题描述】:我在网上看到了一些关于 Hive 是否使用 HCatalog 访问元存储的相互矛盾的帖子,我希望有人能在这里帮助我?
Hive 是否使用实际的 HCatalog api 来访问元数据,或者它是否有自己的检索元数据的机制并且 HCatalog 仅由非 Hive 工具用于访问元数据?
【问题讨论】:
【参考方案1】:不,hive 不使用 Hcatalog Api 访问 Metastore。
HCatalog 将 hive 元数据开放给其他 mapreduce 工具。每个 mapreduce 工具都有自己关于 HDFS 数据的概念(例如 Pig 将 HDFS 数据视为文件集,Hive 将其视为表)。由于具有基于表的抽象,HCatalog 支持的 mapreduce 工具不需要关心数据存储在哪里、以哪种格式和存储位置(HBase 或 HDFS)。
【讨论】:
我可以通过使用自定义 StorageHandler 创建表来强制 Hive 使用 HCatalog 吗?我在旧版本的 HCatalog 中看到了一个 HCatalogStorageHandler,但它现在似乎消失了?以上是关于Hive 真的使用 HCatalog 吗?的主要内容,如果未能解决你的问题,请参考以下文章
在 Pig 中使用 Hcat Loader 访问在 Hive 中创建的视图
Apache Pig 中的 HCatalog 可以只加载特定分区吗?
Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案