《OD学hadoop》第二周0703
Posted 沙漏哟
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《OD学hadoop》第二周0703相关的知识,希望对你有一定的参考价值。
hdfs可视化界面: http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview
yarn可视化界面: http://beifeng-hadoop-01:8088/cluster
-- hdfs
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
-- yarn
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
一、替换本地库
mv native/ bak_native
tar -zxf native-**.gz -C /opt/modules/hadoop-2.5.0/lib
二、SecondaryNameNode
1、namenode 存储的是整个文件系统的元数据
2、格式化之后会产生一个目录
3、格式化之后还会产生文件初始的元数据
bin/hdfs namenode -format
4、元数据是放在内存中的
5、在namenode没有启动之前,元数据存在本地系统文件中
6、格式化之后,会生成一个fsimage文件
准确的说是文件系统的镜像文件,存储元数据
7、在HDFS上任何的操作,比如:上传,创建,会导致元数据发生改变
8、记录HDFS上操作的行为记录,操作日志,记录这些信息
edits logs 编辑日志文件
9、 有了日志文件之后,namenode再次启动的时候首先会去读取fsimage
再去读取编辑日志文件 edits,这样就不怕丢失了
10、考虑有一个服务进程去定时的将fsimage和edits进行合并?
11、SecondaryNameNode会去读取fsimage和eitds,读到内存中
将内存中的东西,写到一个新的fsimage文件中,原来的两个文件就不需要了,接着再生成一个eitds文件,继续记录
注意:读取fsimage速度很快,读取edits速度很慢
12、SecondaryNameNode作用:
(1)合并
(2)减少一次namenode的启动时间
以上是关于《OD学hadoop》第二周0703的主要内容,如果未能解决你的问题,请参考以下文章