hive之核心知识点

Posted 2023-03-09

参考技术A hive的语法和sql语法大部分是是相同的，下面我们来挨个写出来：

1，简单介绍存储原理：

hive和hdfs交互，以及和本地linux交互，分为本地文件和hdfs文件，要说他们的区别，底层都是存在磁盘上，要说区别的话，hdfs分布式文件管理系统，有它独有的文件存储结构也即是能够和分布式文件进行交互的独有存储方式，Linux本地文件存储知识单纯的在Linux操作系统存储的文件，所以hive的作用就是和linux本地以及linux上hdfs文件两者进行交互，我可以把本地的文件上传到hive文件中，当然hive只是处理hdfs上文件的一个工具，但是hive也有自己独有的文件存储，表的结构信息，创建的表信息，都在hive文件夹中当然是存储在hdfs上的。

2，语法：

1，把本地的文件加载到hive创建的表中（比如：create table tb_user(id int ,name string ); ）在hive中创建的是有结构的表，然后通过命令：load data local inpath ' 路径 ' into table 创建的表名；

2，加载hdfs上的文件到hive中：load data inpath 'hdfs上的路径' into table 创建的表

3，导出hive表到hdfs上：export table 表名 to 'hdfs路径' ；

4，把hdfs上的表导入到hive表中：import table （hive表 ）from （hdfs上的表）；（import table tb_kk from '/data/a'）当导入的表不存在会自动创建这张表，用于备份，或者数据转移，表的字段名和导入的字段名一样。

5，通过查询hive表中的数据并把查询的数据导出到本地：insert overwrite local directory '本地路径' select * from student;

6.通过查询hive表中的数据并把查询的数据导出到hdfs上：insert overwrite directory 'hdfs上的路径'

select * from student;

7, 把查询的结果插入到 当前的hive表中 : insert overwrite table student partition(month='201708') select id, name from student where month='201709';

8,创建表并加载查询到的数据：create table if not exists tb_text as select *from tb_text;(as 关键字 同样)

9,创建表时通过Location指定加载数据路径：create table tb_text (id int , name string ) row format delimited fields terminated by ‘,’ location '/hdfs上的目录'，（记住是目录）。

10，创建分区表，分区表就是能够把不同的数据分开来存放，在查询的时候只需要查询指定的分区就行，这样子能够加快查询效率：create table tb_text (id int ,name string ) partitioned by (month string) （//这里我用month来作为分区条件，分区字段不能是表中已经存在的字段，可以将分区字段看成表的伪列，不参与真实字段的 ） row format delimited fields terminated by ',' ；看一下加载数据到分区表的列子，更好地理解一下，load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition partition(month='201709');//最后就是给伪列字段赋予分区值，也就是分区的文件名。

11，查看表结构，这个需要了解清楚：desc tb_text 查看基本表信息，desc formatted tb_text ,查看详细信息。

12,当数据库存在数据强制删除时可以用：drop database db_hive cascade;

13,当数据库不存在数据:drop database db_hive;

14,默认创建的表为管理表，也称之为内部表，数据和表结构是在一起的，也就是说，当我删除表的时候，底层数据也会跟着一起删除，设计成这样要求一张表代表一份数据，保证数据的安全性。

15，外部表为只存储表的元数据和结构信息，存储的是表的路径，删除外部表不会删除内部数据，只会把表的元数据信息删除了，不影响数据本身，通常用作共享数据，设计外部表的语法为：create external table tb_text(id int ,name string);

16,创建表的时候复制表结构：create table tb_text like tb_text01;

3,外部表和内部表的转化：

1,修改内部表为外部表:alter table tb_text set tblproperties('EXTERNAL'='TRUE');

2,修改外部表为内部表:alter table tb_text set tblproperties('EXTERNAL'='FALSE'); -- 要求KV的大小写,('EXTERNAL'='TRUE')和('EXTERNAL'='FALSE')为固定写法，区分大小写！