安装 hadoop 3.1.2 警告:HADOOP_PREFIX 已被 HADOOP_HOME 取代。使用 HADOOP_PREFIX 的值

Posted

技术标签:

【中文标题】安装 hadoop 3.1.2 警告:HADOOP_PREFIX 已被 HADOOP_HOME 取代。使用 HADOOP_PREFIX 的值【英文标题】:install hadoop 3.1.2 WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX 【发布时间】:2019-05-13 12:32:21 【问题描述】:

我是 hadoop 新手,我想安装最新的版本 3.1.2,我正在关注这个教程:https://www.youtube.com/watch?v=Y6oit3rCsZo 这是基于这个教程:https://ricma.co/install-apache-hadoop-27-on-buntu-1604.html 我已经安装了java 8,所以我跳过tuto上的java安装,当我格式化节点名部分时(hdfs namenode -format我得到:没有找到'hdfs'命令,你的意思是: 来自包“hfsutils-tcltk”(宇宙)的命令“hfs” 来自包“hdf4-tools”的命令“hdfls”(宇宙) hdfs:找不到命令 我尝试了(bin/hdfs namenode -format),它与警告一起工作(警告:HADOOP_PREFIX 已被 HADOOP_HOME 替换。使用 HADOOP_PREFIX 的值。 警告:找不到 log4j.properties。 HADOOP_CONF_DIR 可能不完整。 )但接下来我尝试(bin/start-dfs.sh)或(start-dfs.sh)我得到(-su:bin/start-dfs.sh:没有这样的文件或目录) 我认为问题出在 bashrc 文件或 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 文件上,谁能帮帮我。

【问题讨论】:

【参考方案1】:

我在这些教程 youtube 和问题上处于你的位置,所以主要问题是在 hadoop 版本中,教程使用 hadoop 2.7.* 但我们安装了 3.1.* 所以如果查看文件 usr/local/hadoop/etc/hadoop/hadoop-env.sh ,Youtube 版本和 3.1.2 是不同的值

解决方案: 如果您遵循该 youtube 教程,请使用 hadoop 版本 2.7.* 你可以安装 2.7.7 版本,在这里: https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

【讨论】:

以上是关于安装 hadoop 3.1.2 警告:HADOOP_PREFIX 已被 HADOOP_HOME 取代。使用 HADOOP_PREFIX 的值的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop安装—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf

Hadoop 执行 hdfs 命令烦人的警告信息

Hadoop2.x系列之源码编译

在Windows 10 环境下安装 Hadoop-3.1.2

如何修复 Hadoop 警告:在 Ubuntu 上发生非法反射访问操作错误

Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结