20180517早课记录12-Hadoop

Posted 2020-11-06

1.hadoop的广义和狭义的理解

狭义: Hadoop软件(HDFS、MapReduce、Yarn)
广义: 以hadoop为主的生态圈

2.hadoop三大组件是什么?分别是做什么?

HDFS: 分布式文件管理系统 存储
MapReduce: 执行引擎 计算
Yarn: 资源(memory cpu)和作业调度平台 资源

3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系，那么你们会配置吗? root和其他用户有什么区别? 知道在哪找吗?

会 其他用户注意authorized_keys权限 要改为600
http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/SingleCluster.html官网有介绍

4.xml配置文件官网怎么找，会不?

会 http://hadoop.apache.org/docs/r2.8.3/ 拉到最后在左侧栏

5.hdfs启动时，报JAVA home没有，怎么修改呢？

vi etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}改为
export JAVA_HOME=/usr/java/jdk1.8.0_45

6.假如java配置OK了，就是用不了，估计什么问题?（昨天小伙伴的问题）

权限问题 hadoop安装包解压后用户和用户组出现问题

7.hdfs的三个进程是什么?默认存储在哪?

DataNode
NameNode
SecondaryNameNode
默认存储在/tmp下

8.jps 发现进程不可用信息，生产上正确处理流程是什么?

ps -ef|grep pid看下是否存在

9.hdfs的web界面端口号是多少

50070

10.yarn的web界面端口号是多少

8088

11.假如让你们该这两个默认端口号，请问怎么改，去哪找?（跳跃思维）

可以去官网找相应配置说明
更改dfs.namenode.http-address及yarn.resourcemanager.webapp.address参数

12.mapreduce案例 jar，我也不记得路径在哪，该怎么办

在hadoop安装目录find ./ -name "example"

13.我们学习了第一个提交 jar到yarn平台，那么命令是什么

hadoop jar