hadoop1.2.1三种模式配置

Posted 2020-06-14

1.本地模式

本地模式的安装

将hadoop 安装包解压后不用任何配置就是默认的本地模式

此时 core-site.xml ,hdfs-site.xml , marped.site.xml 三个配置文件都为空

此时没有hdfs文件系统，可以执行mapreduce

hadoop fs -ls / 会列出本地的linux文件系统

 

2. 伪分布式模式

需要配置core-site.xml ,hdfs-site.xml,marped-site.xml

core-site.xml

hdfs-site.xml

 

 

mapred.site.xml

 

 

此时默认hdfs的namenode数据存储在linux的/tmp/hadoop-hadoop/dfs

hadoop临时文件目录默认在hdfs文件系统

drwxr-xr-x   - hadoop supergroup          0 2016-02-21 01:04 /tmp/hadoop-hadoop

 

设置好配置文件后， 需要格式化hdfs系统 hadoop namenode -format

创建文件

hadoop fs -mkdir input

默认会创建在hdfs中的 /user/hadoop/input

hadoop为当前用户

运行mapreduce wordcount

hadoop  jar  hadoop-examples* wordcount input output

input,output,为hdfs的目录，重新执行时要删除output文件夹

启动hadoop