[Hive_8] Hive 设计优化
Posted share23
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[Hive_8] Hive 设计优化相关的知识,希望对你有一定的参考价值。
0. 说明
在 Hive 中,数据库是一个文件夹,表也是文件夹
partition,是一个字段,是文件
前提:在 Hive 进行 where 子句查询的时候,会将条件语句和全表进行比对,搜索出所需的数据,性能极差,partition 就是为了避免全表扫描
1. 分区
1.1 创建非分区表 user_nopar
create table user_nopar (id int, name string, age int, province string, city string) row format delimited fields terminated by ‘ ‘;
1.2 加载数据
load data local inpath ‘/home/centos/files/user_nopar.txt‘ into table user_nopar;
以上是关于[Hive_8] Hive 设计优化的主要内容,如果未能解决你的问题,请参考以下文章