Hive使用

Posted 2020-12-14 ywjfx

1、脚本化运行

大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制：
该机制的核心点是：hive可以用一次性命令的方式来执行给定的hql语句

  hive -e "insert into table t_dest select * from t_src;"

然后，进一步，可以将上述命令写入shell脚本中，以便于脚本化运行hive任务，并控制、调度众多hive任务，示例如下：
vi t_order_etl.sh
#!/bin/bash
hive -e "select * from db_order.t_order"
hive -e "select * from default.t_user"
hql="create table  default.t_bash as select * from db_order.t_order"
hive -e "$hql"

如果要执行的hql语句特别复杂，那么，可以把hql语句写入一个文件：
vi x.hql
select * from db_order.t_order;
select count(1) from db_order.t_user;

然后，用hive -f /root/x.hql 来执行

2、建库

?    建库
hive中有一个默认的库：
库名： default
库目录：hdfs://hdp20-01:9000/user/hive/warehouse

新建库：
create database db_order;
库建好后，在hdfs中会生成一个库目录：
hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db

3、建表

?    基本建表语句
use db_order;
create table t_order(id string,create_time string,amount float,uid string);
表建好后，会在所属的库目录中生成一个表目录
/user/hive/warehouse/db_order.db/t_order
只是，这样建表的话，hive会认为表数据文件中的字段分隔符为 ^A

正确的建表语句为：
create table t_order(id string,create_time string,amount float,uid string)
row format delimited
fields terminated by ‘,‘;

这样就指定了，我们的表数据文件中的字段分隔符为 ","
?    删除表
drop table t_order;
删除表的效果是：
hive会从元数据库中清除关于这个表的信息；
hive还会从hdfs中删除这个表的表目录；

?    内部表与外部表
内部表(MANAGED_TABLE)：表目录按照hive的规范来部署，位于hive的仓库目录/user/hive/warehouse中

外部表(EXTERNAL_TABLE)：表目录由建表用户自己指定
create external table t_access(ip string,url string,access_time string)
row format delimited
fields terminated by ‘,‘
location ‘/access/log‘;
外部表和内部表的特性差别：
1)    内部表的目录在hive的仓库目录中 VS 外部表的目录由用户指定
2)    drop一个内部表时：hive会清除相关元数据，并删除表数据目录
3)    drop一个外部表时：hive只会清除相关元数据；

一个hive的数据仓库，最底层的表，一定是来自于外部系统，为了不影响外部系统的工作逻辑，在hive中可建external表来映射这些外部系统产生的数据目录；
然后，后续的etl操作，产生的各种表建议用managed_table

4、建分区表

?    一个分区字段的实例：
示例如下：
1)    创建带分区的表
create table t_access(ip string,url string,access_time string)
partitioned by(dt string)
row format delimited
fields terminated by ‘,‘;
注意：分区字段不能是表定义中的已存在字段


1)    向分区中导入数据
load data inpath ‘/root/access.log.2017-08-04.log‘ into table t_access partition(dt=‘20170804‘);
load data inpath ‘/root/access.log.2017-08-05.log‘ into table t_access partition(dt=‘20170805‘);

1)    针对分区数据进行查询
a、统计8月4号的总PV：
select count(*) from t_access where dt=‘20170804‘;
实质：就是将分区字段当成表字段来用，就可以使用where子句指定分区了

b、统计表中所有数据总的PV：
select count(*) from t_access;
实质：不指定分区条件即可

?    多个分区字段示例
建表：
create table t_partition(id int,name string,age int)
partitioned by(department string,sex string,howold int)
row format delimited fields terminated by ‘,‘;

导数据：
load data inpath ‘/root/p1.dat‘ into table t_partition partition(department=‘xiangsheng‘,sex=‘male‘,howold=20);

5、数据的导入导出

? 将数据文件导入hive的表
方式1：导入数据的一种方式：
手动用hdfs命令，将文件放入表目录；

方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录
hive>load data local inpath ‘/root/order.data.2‘ into table t_order;

方式3：用hive命令导入hdfs中的数据文件到表目录
hive>load data inpath ‘/access.log.2017-08-06.log‘ into table t_access partition(dt=‘20170806‘);

注意：导本地文件和导HDFS文件的区别：
本地文件导入表：复制
hdfs文件导入表：移动

? 将hive表中的数据导出到指定路径的文件
1) 将hive表中的数据导入HDFS的文件
insert overwrite directory ‘/root/access-data‘
row format delimited fields terminated by ‘,‘
select * from t_access;

1) 将hive表中的数据导入本地磁盘文件
insert overwrite local directory ‘/root/access-data‘
row format delimited fields terminated by ‘,‘
select * from t_access limit 100000;

6、hive文件格式

HIVE支持很多种文件格式： SEQUENCE FILE | TEXT FILE | PARQUET FILE | RC FILE
create table t_pq(movie string,rate int)  stored as textfile;
create table t_pq(movie string,rate int)  stored as sequencefile;
create table t_pq(movie string,rate int)  stored as parquetfile;


演示：
1、先建一个存储文本文件的表
create table t_access_text(ip string,url string,access_time string)
row format delimited fields terminated by ‘,‘
stored as textfile;

导入文本数据到表中：
load data local inpath ‘/root/access-data/000000_0‘ into table t_access_text;

2)    建一个存储sequence file文件的表：
create table t_access_seq(ip string,url string,access_time string)
stored as sequencefile;

从文本表中查询数据插入sequencefile表中，生成数据文件就是sequencefile格式的了：
insert into t_access_seq
select * from t_access_text;

2)    建一个存储parquet file文件的表：
create table t_access_parq(ip string,url string,access_time string)
stored as parquetfile;