《OD学hadoop》第二周0703

Posted 沙漏哟

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《OD学hadoop》第二周0703相关的知识,希望对你有一定的参考价值。

 

hdfs可视化界面: http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview

yarn可视化界面: http://beifeng-hadoop-01:8088/cluster

 

-- hdfs

$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode

-- yarn

$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager

 

sbin/hadoop-daemon.sh stop namenode

sbin/hadoop-daemon.sh stop datanode

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

一、替换本地库

mv native/ bak_native

tar -zxf native-**.gz -C /opt/modules/hadoop-2.5.0/lib

 

二、SecondaryNameNode

1、namenode 存储的是整个文件系统的元数据

2、格式化之后会产生一个目录

3、格式化之后还会产生文件初始的元数据

bin/hdfs namenode -format

4、元数据是放在内存中的

5、在namenode没有启动之前,元数据存在本地系统文件中

6、格式化之后,会生成一个fsimage文件

准确的说是文件系统的镜像文件,存储元数据

7、在HDFS上任何的操作,比如:上传,创建,会导致元数据发生改变

8、记录HDFS上操作的行为记录,操作日志,记录这些信息

edits logs 编辑日志文件

9、  有了日志文件之后,namenode再次启动的时候首先会去读取fsimage

再去读取编辑日志文件 edits,这样就不怕丢失了

10、考虑有一个服务进程去定时的将fsimage和edits进行合并?

11、SecondaryNameNode会去读取fsimage和eitds,读到内存中

将内存中的东西,写到一个新的fsimage文件中,原来的两个文件就不需要了,接着再生成一个eitds文件,继续记录

注意:读取fsimage速度很快,读取edits速度很慢

12、SecondaryNameNode作用:

(1)合并

(2)减少一次namenode的启动时间

 

以上是关于《OD学hadoop》第二周0703的主要内容,如果未能解决你的问题,请参考以下文章

《OD学hadoop》第一周0626

《OD学Hadoop》Linux基础

《OD学hadoop》20160904某旅游网项目实战

《OD学hadoop》20160910某旅游网项目实战

《OD学hadoop》mac下使用VMware Fusion安装centos

《OD学hadoop》第一周0625 LINUX作业一:Linux系统基本命令