Hadoop初体验

Posted 2023-01-21 识途老码

Hadoop初体验

• • HDFS初体验
  • • HDFS shell常用命令
    • Web UI页面操作
    • 思考
  • Hadoop MapReduce +YARN初体验
  • • 计算圆周率Pi的值--官方示例
    • 词频统计--官方示例
    • • 通过webui查看运行结果

HDFS初体验

HDFS shell常用命令

# 在/目录创建一个目录
hdaoop fs -mkdir /itcast

# 上传文件到/itcast目录中
hadoop fs -put zookeeper.out /itcast

# 查看/目录
hadoop fs -ls /

# 查看存储余量
hdfs dfs -df -h

Web UI页面操作

思考

Hadoop MapReduce +YARN初体验

# 官方自带的示例jar包目录
/export/server/hadoop-3.1.4/share/hadoop/mapreduce

hadoop-mapreduce-examples-3.1.4.jar是官方提供的示例jar包。

计算圆周率Pi的值–官方示例

# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce

# 计算圆周率Pi的值
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4

第一步是先连接到YARN集群的主角色ResourceManager,找YARN申请运算资源

词频统计–官方示例

# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce

# 统计词频
## hadoop jar jar包名 统计词频参数 指定统计文件 结果输出文件
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/hlm.txt /out/hlmcount

第一步是先连接到YARN集群的主角色ResourceManager,找YARN申请运算资源

# 查看统计输出结果
hdfs dfs -cat /out/hlmcount/part-r-00000

通过webui查看运行结果