无法将数据加载到配置单元表中

Posted 2023-04-18

【中文标题】无法将数据加载到配置单元表中

【英文标题】：Not able to load data into hive table

【发布时间】：2017-03-30 07:09:42

【问题描述】：

将数据加载到 Hive 表中时，出现以下错误：

"Loading data to table test.temp1
Moved: 'hdfs://mdckd.kk.hyy.com:8020/apps/hive/warehouse/test.db/temp1/000000_0' to trash at: hdfs://mdckd.kk.hyy.com:8020/user/lams/.Trash/Current
Table test.temp1 stats: [numFiles=1014, numRows=0, totalSize=50113, rawDataSize=0]"

看起来我的数据会被丢弃，但我不明白为什么。请帮忙。以下是我的表定义和我正在使用的查询：

      CREATE TABLE `temp1`(
      `col1` int,
      `col2` int,
      `col3` int,
      `col4` int,
      `col5` int,
      `col6` int,
      `col7` int,
      `col8` int,
      `col9` int,
      `col10` int)
      ROW FORMAT SERDE
       'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
       STORED AS INPUTFORMAT
       'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
        OUTPUTFORMAT
       'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
       LOCATION
       'hdfs://mdckd.kk.hyy.com:8020/apps/hive/warehouse/test.db/temp1'
       TBLPROPERTIES (
       'COLUMN_STATS_ACCURATE'='true',
       'numFiles'='548',
       'numRows'='547',
       'rawDataSize'='131280',
       'totalSize'='483505',
       'transient_lastDdlTime'='1490261019')

    INSERT OVERWRITE TABLE temp1 
    select * from
     (
       select * from tab1
       union all
       select * from tab2
       union all
       select * from tab3
       union all
       select * from tab4
       union all
       select * from tab5  
    )p;

【问题讨论】：

创建表看起来很奇怪。创建表时不需要TBLPROPERTIES 这句话

【参考方案1】：

表中已有的数据将被丢弃，因为这正是OVERWRITE 的含义。 如果您想追加而不是截断，请使用INSERT INTO TABLE（或在较新版本中使用INSERT INTO）。

附：

您不需要外部查询。

insert into table temp1

            select * from tab1
union all   select * from tab2
union all   select * from tab3
union all   select * from tab4
union all   select * from tab5  
;