Hadoop那些事儿---MapReduce开发环境搭建

Posted 2020-08-28 光光-Leo

上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境，这篇文章主要为MapReduce开发环境的搭建流程。

1.HDFS伪分布式配置

使用MapReduce时，如果需要与HDFS建立连接，及使用HDFS中的文件，还需要做一些配置。
首先进入Hadoop的安装目录

cd /usr/local/hadoop/hadoop2

在HDFS中创建用户目录

./bin/hdfs dfs -mkdir -p /user/hadoop

创建input目录，并将./etc/hadoop中的xml文件复制到分布式文件系统中

./bin/hdfs dfs -mkdir input 
./bin/hdfs dfs -put ./etc/Hadoop/*.xml input

复制完成后，