在 hive 中使用 Buckets 创建 Avro 表

Posted 2023-04-18

【中文标题】在 hive 中使用 Buckets 创建 Avro 表

【英文标题】：Creating Avro table with Buckets in hive

【发布时间】：2016-07-31 23:49:01

【问题描述】：

我创建了一个带有存储桶的 avro 表，但遇到以下错误：

处理语句时出错：FAILED：执行错误，返回码 1 来自 org.apache.hadoop.hive.ql.exec.DDLTask。桶列 uniqueid 不是表列的一部分 ([]

CREATE TABLE s.TEST_OD_V(
UniqueId int,
dtCd string,
SysSK int,
Ind string)
PARTITIONED BY (vcd STRING)
CLUSTERED BY (UniqueId) INTO 500 BUCKETS
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS INPUTFORMAT                'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES ('avro.schema.url'='s3a:/bucket/schema/pr_v.avsc');              

我使用的是 hive 1.1。请帮帮我..

【参考方案1】：

试试这个（从 Hive 0.14 可用）：

CREATE TABLE s.TEST_OD_V( UniqueId int, dtCd string, SysSK int, Ind string) PARTITIONED BY (vcd STRING) CLUSTERED BY (UniqueId) INTO 500 BUCKETS STORED AS AVRO;