hive load data的时候数据少怎么回事

Posted 2023-05-07

hive LOAD DATA的时候 源文件是3117条记录，LOAD完事在HIVE里查询为什么只有3111条记录

源文件中有坏数据，无法匹配你Hive表的schema 注意哦hive基础知识：load不改变源文件数据。 参考技术A 源文件中有坏数据，无法匹配你Hive表的schema 参考技术B 是不是有空的追问

没有空的 刚才我找了下原因是 这几行开头 多出一个tab 不知道怎么办了

追答

替换掉就是了

参考技术C 你的源文件是怎么统计记录条数的？wc -l么追问

是的
刚才我找了下原因是 这几行开头 多出一个tab 不知道怎么办了

sql load_data_hive.sql

CREATE TABLE IF NOT EXISTS BookData 
> (ISBN STRING, 
> BookTitle STRING, 
> BookAuthor STRING, 
> YearOfPublication INT, 
> Publisher STRING) 
> ROW FORMAT DELIMITED 
> FIELDS TERMINATED BY '\;' 
> STORED AS TEXTFILE; LOAD DATA INPATH '/user/cloudera/input/BX-BooksCorrected.txt' 
> OVERWRITE INTO TABLE BookData;