有关如何从 Hive 查询中设置 Hive 属性的示例

Posted

技术标签:

【中文标题】有关如何从 Hive 查询中设置 Hive 属性的示例【英文标题】:Example about how set a Hive property from within a Hive query 【发布时间】:2017-07-28 02:13:38 【问题描述】:

我需要一个快速示例,说明如何使用查询更改 hive 中的属性,例如,我想更改属性“mapred.reduce.tasks”,因此,如何在查询中执行此更改。

我正在为 HDPCD 考试训练自己,考试的目标之一是“在 Hive 查询中设置 Hadoop 或 Hive 配置属性”所以我认为这与在 Hive 控制台中执行类似:

set mapred.reduce.tasks=2;

【问题讨论】:

在我看来,您展示的“设置...”示例就是他们正在寻找的答案。这个页面 (hadoopsters.net/2015/12/07/…) 似乎也证实了这一点。 【参考方案1】:

要更改 Hadoop 和 Hive 配置变量,您需要在 hive 查询中使用 set。 所做的更改将仅适用于该查询会话

set -v 打印所有 Hadoop 和 Hive 配置变量。

SET mapred.reduce.tasks=XX // In Hadoop 1.X
SET mapreduce.job.reduces=XX // In Hadoop 2.X (YARN)

reset 在查询中将配置重置为默认值

【讨论】:

那么,我在我的问题中做的例子也是答案,不是吗?

以上是关于有关如何从 Hive 查询中设置 Hive 属性的示例的主要内容,如果未能解决你的问题,请参考以下文章

如何在 hive 中设置 mapreduce 任务的数量等于 1

好程序员大数据学习路线分享hive的运行方式

Hadoop基础(五十):压缩和存储

如何使用 Scala Eclipse IDE 连接到现有的 Hive

查询 HIVE 元数据

直线中没有 mr 作业执行信息