使用 cloudera 管理器部署 hdfs core-site.xml
Posted
技术标签:
【中文标题】使用 cloudera 管理器部署 hdfs core-site.xml【英文标题】：Deploying hdfs core-site.xml with cloudera manager 【发布时间】：2014-04-30 10:05:45 【问题描述】：我正在尝试使用 cloudera 管理器 (CDH5b2) 将 lzo 支持添加到我的配置文件中。
如果我将 io.compression.codecs 添加到服务范围的 hdfs 配置并部署配置文件，/etc/hadoop/conf.cloudera.hdfs/core-site.xml 现在包含新值。
但是，/etc/hadoop/conf.cloudera.yarn/core-site.xml 具有更高的优先级 (update-alternatives --display hadoop-conf)，当我开始 MR 作业时不使用 hdfs core-site.xml 值。
显然，我可以简单地手动修改 yarn core-site.xml 文件，但我不明白如何使用 cloudera manager 正确部署 hdfs core-site.xml 文件。
【问题讨论】：
【参考方案1】：有一个 MapReduce 客户端环境安全阀，也称为 'MapReduce Service Advanced Configuration Snippet (Safety Valve) for core-site.xml' 可以在 gui 下的 mapreduce 配置 ->Service-Wide->Advanced 中找到添加任何不适合其他地方的价值。 （core-site.xml 也有一个。）
话虽如此，详情可以在 Cloudera 的网站上找到：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_install.html
【讨论】：
以上是关于使用 cloudera 管理器部署 hdfs core-site.xml的主要内容，如果未能解决你的问题，请参考以下文章