大数据-Hadoop 本地运行模式

Posted nidegui

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据-Hadoop 本地运行模式相关的知识,希望对你有一定的参考价值。

Grep案例

1. 创建在hadoop-2.7.2文件下面创建一个input文件夹

[atguigu@hadoop101 hadoop-2.7.2]$ mkdir input

2. Hadoopxml配置文件复制到input

[atguigu@hadoop101 hadoop-2.7.2]$ cp etc/hadoop/*.xml input

技术图片

 

3. 执行share目录下的MapReduce程序(执行)

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+‘(要正常的运行,必须要保证output删除,没有才能运行)

技术图片

 

4. 查看输出结果

[atguigu@hadoop101 hadoop-2.7.2]$ cat output/*

技术图片

 

WordCount案例

1. 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

[atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput

2. wcinput文件下创建一个wc.input文件

[atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput

[atguigu@hadoop101 wcinput]$ touch wc.input

3. 编辑wc.input文件

[atguigu@hadoop101 wcinput]$ vi wc.input

技术图片

 

 

保存退出::wq

4. 回到Hadoop目录/opt/module/hadoop-2.7.2

5. 执行程序

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar

 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

技术图片

 

6. 查看结果

[atguigu@hadoop101 hadoop-2.7.2]$ cat wcoutput/part-r-00000

技术图片

 

以上是关于大数据-Hadoop 本地运行模式的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之_03_Hadoop学习_02_入门_Hadoop运行模式+本地运行模式+伪分布式运行模式+完全分布式运行模式(开发重点)+Hadoop编译源码(面试重点)+常见错误及解决方案(示例代(代

大数据 hadoop 三种运行模式的区别、及详细配置讲解

打怪升级之小白的大数据之旅(四十三)<Hadoop运行模式(集群搭建)>

2021年大数据Hadoop(十八):MapReduce程序运行模式和深入解析

大数据技术——Hadoop3.X入门搭建+安装调优(1.入门)

spark必须要hadoop吗