Hive优化：严格模式

Posted 2023-03-28

参考技术A Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响查询。
通过设置属性hive.mapred.mode值为默认是非严格格式nonstrict。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3钟类型的查询。
--设置非严格模式（默认）
set hive.mapred.mode=nonstrict;
--设置严格模式
set hive.mapred.mode=strict;
（1）对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行
--设置严格模式下 执行sql语句报错；非严格模式下的可以的
select * from order_partition;
异常信息：Error :Error while compliling statement:FAILED:SemanticException [Error 10041]:No parttion predicate found for Alias "order_partition" Table "order_partition"
(2)对于使用了order by 语句的查询，要求必须使用limit语句
--设置严格模式下 执行sql语句报错;非严格模式下可以的
select * from order_partition where month='2019-03' order by order_price;
异常信息：Error Error while compiling statement:FAILED:SemanticException 1:61 In strict mode,if ORDER BY is specified ,LIMIT must also be specifiied.Error encountered near token 'order_price'
(3)限制笛卡尔积的查询
严格模式下，避免出现笛卡尔积的查询

Hive严格模式

Hive严格模式

Hive提供了一个严格模式，可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式：

 

[java] view plain copy

 

1. hive> set hive.mapred.mode=strict;  

设置为严格模式后，可以禁止3种类型的查询：

 

(1)：带有分区的表的查询

如果在一个分区表执行hive，除非where语句中包含分区字段过滤条件来显示数据范围，否则不允许执行。换句话说就是在严格模式下不允许用户扫描所有的分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。如果不进行分区限制的查询会消耗巨大的资源来处理，如下不带分区的查询语句：

 

[java] view plain copy

 

1. hive> SELECT DISTINCT(planner_id) FROM fracture_ins WHERE planner_id=5;  

执行后会出现如下错误：

 

 

[java] view plain copy

 

1. FAILED: Error in semantic analysis: No Partition Predicate Found for Alias "fracture_ins" Table "fracture_ins  

解决方案是在where中增加分区条件：

 

 

[java] view plain copy

 

1. hive> SELECT DISTINCT(planner_id) FROM fracture_ins  
2.        > WHERE planner_id=5 AND hit_date=20120101;  

(2)：带有order by的查询

 

对于使用了order by的查询，要求必须有limit语句。因为order by为了执行排序过程会将所有的结果分发到同一个reduce中进行处理，强制要求用户增加这个limit语句可以防止reduce额外消耗资源，如下是不带limit关键字的查询语句：

 

[java] view plain copy

 

1. hive> SELECT * FROM fracture_ins WHERE hit_date>2012 ORDER BY planner_id;  

出现如下错误：

 

 

[java] view plain copy

 

1. FAILED: Error in semantic analysis: line 1:56 In strict mode,  
2. limit must be specified if ORDER BY is present planner_id  

解决方案就是增加一个limit关键字：

 

 

[java] view plain copy

 

1. hive> SELECT * FROM fracture_ins WHERE hit_date>2012 ORDER BY planner_id  
2.         > LIMIT 100000;  

(3)：限制笛卡尔积的查询

 

对关系型数据库非常了解的用户可能期望在执行join查询的时候不适用on语句而是使用where语句，这样关系型数据库的执行优化器就可以高效的将where语句转换成那个on语句了。不幸的是，Hive并不支持这样的优化，因为如果表非常大的话，就会出现不可控的情况，如下是不带on的语句：

 

[java] view plain copy

 

1. hive> SELECT * FROM fracture_act JOIN fracture_ads  
2. > WHERE fracture_act.planner_id = fracture_ads.planner_id;  

出现如下错误：

 

 

[java] view plain copy

 

1. FAILED: Error in semantic analysis: In strict mode, cartesian product  
2. is not allowed. If you really want to perform the operation,  
3. +set hive.mapred.mode=nonstrict+  

解决方案就是加上on语句：

 

 

[java] view plain copy

 

1. hive> SELECT * FROM fracture_act JOIN fracture_ads  
2.         > ON (fracture_act.planner_id = fracture_ads.planner_id);