hive 与mapreduce

Posted 2023-03-20

参考技术A hive 不触发mapreduce的操作：

hive.fetch.task.conversion

这个参数与sql 触发mr操作有关：

取值一共有三个 none minimal more

默认的设置的值 是more

配置参数为more的时候。

select  * from  table [where]

简单的查询 不会出触发mr

desc table 不会触发mr

hive触发mapreduce转换过程：

hive通过客户端，接收到用户传来的sql语句，

使用自己的dirver ，结合元数据信息，将指令翻译称为mapreduce 然后提交到hadoop执行。