[Hive_8] Hive 设计优化

Posted share23

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[Hive_8] Hive 设计优化相关的知识,希望对你有一定的参考价值。


0. 说明

  在 Hive 中,数据库是一个文件夹,表也是文件夹

  partition,是一个字段,是文件

  前提:在 Hive 进行 where 子句查询的时候,会将条件语句和全表进行比对,搜索出所需的数据,性能极差,partition 就是为了避免全表扫描

 

 


1. 分区

  1.1 创建非分区表 user_nopar

    create table user_nopar
    (id int, name string, age int, province string, city string)
    row format delimited
    fields terminated by 	;

 

  1.2 加载数据

load data local inpath /home/centos/files/user_nopar.txt into table user_nopar;

 



 

 

 

 


 



以上是关于[Hive_8] Hive 设计优化的主要内容,如果未能解决你的问题,请参考以下文章

Hive性能优化之表设计优化

大数据面试题:Hive优化措施

Hive入门函数提升

[Hive_add_8] Hive 常用参数配置

hive优化总结

hive优化总结