hadoop单机测试环境安装(简)

Posted 2021-03-05 升级打怪之路

1.下载hadoop官网就可以下载。可以直接搜hadoop  ，  其实可以直接查看官网的版主文档搭建https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

 

2.解压包到/usr/local/下便于操作，不接呀也行，由于hadoop依赖java环境，请配置JAVA_HOME（例：JAVA_HOKE=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64）

vim hadoop-env.sh

 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64      #25行注释打开

3.测试安装。./bin/hadoop version查看版本。

 

4.测试环境操作文本查看字符出现的次数

mkdir input

移动对应的文本到input内。

cp ./*.txt   input

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount  grep  /usr/local/hadoop/input   output  ‘[正则表达式]‘#

cat  output/*   #统计了对应的数据放到了output下

 

5.伪分布式：把需求的组件部署到一台服务器上。默认jps会开启

57904 DataNode
58097 SecondaryNameNode
57746 NameNode
66947 Jps
50531 ResourceManager
50649 NodeManager

5个服务。

vim hdfs-site.xml 

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!--
<property>
<name>dfs.http.address</name>
<value>localhost:9870</value>
</property>
-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

</configuration>

 

vim core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

 

vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

</configuration>

 

vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*</value>
</property>

</configuration>

6.开启服务

./bin/hdfs namenode -format

./sbin/start-all.sh

7.查看服务

jps    默认开启5个服务。重启开不起的服务一般都是节点tmp对应目录下id冲突。删除重新启动就可以了。

8.使用方法：

　　8.1，配置自身的ssh能免密访问自己。(默认第一步就该做)

　　ssh-copy-id   ip

　　8.2，创建工作用户目录

　　./bin/hdfs dfs -mkdir  /usr

　　./bin/hdfs dfs -mkdir  /usr/intput

　　8.3， 传测试文件

　　./bin/hdfs dfs -put etc/hadoop/*.xml  input

　　注：默认命令和bash的一样，只是这里是属于hdfs。本机是看不见的。

　　8.4， 测试数据

　　./bin/hadoop jar    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar    grep     /usr/input     output    "dfs[a-z]+"