《OD学hadoop》第二周0703
Posted 沙漏哟
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了《OD学hadoop》第二周0703相关的知识，希望对你有一定的参考价值。
hdfs可视化界面： http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview
yarn可视化界面： http://beifeng-hadoop-01:8088/cluster
-- hdfs
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
-- yarn
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
一、替换本地库
mv native/ bak_native
tar -zxf native-**.gz -C /opt/modules/hadoop-2.5.0/lib
二、SecondaryNameNode
1、namenode 存储的是整个文件系统的元数据
2、格式化之后会产生一个目录
3、格式化之后还会产生文件初始的元数据
bin/hdfs namenode -format
4、元数据是放在内存中的
5、在namenode没有启动之前，元数据存在本地系统文件中
6、格式化之后，会生成一个fsimage文件
准确的说是文件系统的镜像文件，存储元数据
7、在HDFS上任何的操作，比如：上传，创建，会导致元数据发生改变
8、记录HDFS上操作的行为记录，操作日志，记录这些信息
edits logs 编辑日志文件
9、 有了日志文件之后，namenode再次启动的时候首先会去读取fsimage
再去读取编辑日志文件 edits，这样就不怕丢失了
10、考虑有一个服务进程去定时的将fsimage和edits进行合并？
11、SecondaryNameNode会去读取fsimage和eitds，读到内存中
将内存中的东西，写到一个新的fsimage文件中，原来的两个文件就不需要了，接着再生成一个eitds文件，继续记录
注意：读取fsimage速度很快，读取edits速度很慢
12、SecondaryNameNode作用：
（1）合并
（2）减少一次namenode的启动时间
以上是关于《OD学hadoop》第二周0703的主要内容，如果未能解决你的问题，请参考以下文章