Hadoop学习笔记四

Posted lnlvinso

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop学习笔记四相关的知识,希望对你有一定的参考价值。

一、fsimage,edits和datanode的block在本地文件系统中位置的配置

    fsimage:hdfs-site.xml中的dfs.namenode.name.dir  值例如file:///opt/software/hadoop/data/nn/image

    edits:hdfs-site.xml中的dfs.namenode.edits.dir

    datanode block:hdfs-site.xml中的dfs.datanode.data.dir

    secondarynanode的fsimage:hdfs-site.xml中的dfs.namenode.checkpoint.dir 

    secondarynanode的edits:hdfs-site.xml中的dfs.namenode.checkpoint.edits.dir

    一个配置项需要多个文件路径时,用英文的逗号隔开。

    修改了fsimage和edits后,需要格式化namenode,或者把旧目录中的文件拷贝过来。否则会因为元数据文件缺失,导致集群无法正常启动。

 

     

以上是关于Hadoop学习笔记四的主要内容,如果未能解决你的问题,请参考以下文章

大数据学习笔记:Hadoop生态系统

Hadoop学习笔记HDFS单机版Windows安装

学习笔记Hadoop—— MapReduce开发入门

学习笔记Hadoop—— Hadoop集群的安装与部署

学习笔记Hadoop—— Hadoop集群的安装与部署—— 配置Hadoop集群

学习笔记Hadoop—— Hadoop基础操作—— MapReduce常用Shell操作MapReduce任务管理