有关如何从 Hive 查询中设置 Hive 属性的示例
Posted
技术标签:
【中文标题】有关如何从 Hive 查询中设置 Hive 属性的示例【英文标题】:Example about how set a Hive property from within a Hive query 【发布时间】:2017-07-28 02:13:38 【问题描述】:我需要一个快速示例,说明如何使用查询更改 hive 中的属性,例如,我想更改属性“mapred.reduce.tasks”,因此,如何在查询中执行此更改。
我正在为 HDPCD 考试训练自己,考试的目标之一是“在 Hive 查询中设置 Hadoop 或 Hive 配置属性”所以我认为这与在 Hive 控制台中执行类似:
set mapred.reduce.tasks=2;
【问题讨论】:
在我看来,您展示的“设置...”示例就是他们正在寻找的答案。这个页面 (hadoopsters.net/2015/12/07/…) 似乎也证实了这一点。 【参考方案1】:要更改 Hadoop 和 Hive 配置变量,您需要在 hive 查询中使用 set
。
所做的更改将仅适用于该查询会话
set -v
打印所有 Hadoop 和 Hive 配置变量。
SET mapred.reduce.tasks=XX // In Hadoop 1.X
SET mapreduce.job.reduces=XX // In Hadoop 2.X (YARN)
reset
在查询中将配置重置为默认值
【讨论】:
那么,我在我的问题中做的例子也是答案,不是吗?以上是关于有关如何从 Hive 查询中设置 Hive 属性的示例的主要内容,如果未能解决你的问题,请参考以下文章
如何在 hive 中设置 mapreduce 任务的数量等于 1