csv数据导入hive

Posted 2021-12-11 闭关苦炼内功

首先，Excel文件另存为csv文件（以逗号分隔），

然后修改文件格式为txt格式

然后使用notepad++编辑器修改默认编码为 UTF-8

然后上传txt文件到 linux服务器

然后先确保hive服务端开启

再进入hive客户端
hive

使用hive SQL 创建一个数据库
create databse db_test_1;

使用数据库
use db_test_1;

再创建一张数据表

CREATE TABLE `tb_test_1` (
	`id` string,
	`xingming` string,
	`xingbie` string,
	`address` string
);

然后本地数据导入
LOAD DATA LOCAL INPATH '/opt/test/demo.txt' OVERWRITE INTO TABLE tb_test_1;

也可以先上传到hdfs，通过hdfs导入
hadoop fs -ls /
hadoop fs -mkdir /tmp/
hadoop fs -put /opt/test/demo.txt /tmp/
LOAD DATA INPATH '/tmp/demo.txt' OVERWRITE INTO TABLE tb_test_1;

如果说使用kerberos认证，那么需要先配置hive的票据 hive.service.keytab，并且定时任务自动更新票据有效期

关于kerberos认证，博主后面专门会有一篇文章详细介绍