HDFS学习记录

Posted 2020-11-22 yangyanga

HDFS

1.hdfs整体工作机制：

　　1>hdfs:分布式文件系统。

　　hdfs：分布式文件系统

　　hdfs有着文件系统共同的特征：

　　2>有目录结构，顶层目录是：  /

　　3>系统中存放的就是文件

　　4>系统可以提供对文件的：创建、删除、修改、查看、移动等功能

 

2.hdfs跟普通的单机文件系统有区别：

　　1>单机文件系统中存放的文件，是在一台机器的操作系统中

　　2>hdfs的文件系统会横跨N多的机器

　　3>单机文件系统中存放的文件，是在一台机器的磁盘上

　　4>hdfs文件系统中存放的文件，是落在n多机器的本地单机文件系统中（hdfs是一个基于linux本地文件系统之上的文件系统）

 

3.hdfs的工作机制：

　　1>客户把一个文件存入hdfs，其实hdfs会把这个文件切块后，分散存储在N台linux机器系统中（负责存储文件块的角色：data node）<准确来说：切块的行为是由客户端决定的

　　2>一旦文件被切块存储，那么，hdfs中就必须有一个机制，来记录用户的每一个文件的切块信息，及每一块的具体存储机器（负责记录块信息的角色是：name node）

　　3>为了保证数据的安全性，hdfs可以将每一个文件块在集群中存放多个副本（到底存几个副本，是由当时存入该文件的客户端指定的）

　　总结：一个hdfs系统，由一台运行了namenode的服务器，和N台运行了datanode的服务器组成！

 

4.hdfs客户端形式：

　　1.网页形式

　　2.命令行形式

　　3.客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网

　　4.hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数： dfs.blocksize（默认64M）副本数量的参数： dfs.replication(默认2)

 

5.hdfs命令行操作

　　1.查看目录信息：hadoop -fs ls /hdfs目录

　　2.上传文件到hdfs：hadoop -put /本地文件 /aaa  或者 hadoop fs -copyFromLocal /本地文件  /hdfs路径   ##  copyFromLocal等价于 put

　　3.从本地移动到hdfs:hadoop -moveFromLocal /本地文件 /aaa

　　4.下载文件到本地磁盘：

　　　　hadoop fs -get /hdfs中的路径   /本地磁盘目录

　　　　hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径   ## 跟get等价

　　　　hadoop fs -moveToLocal /hdfs路径  /本地路径  ## 从hdfs中移动到本地

　　5.创建文件夹：hadoop fs -mkdir -p /aaa/xxx

　　6.移动hdfs中的文件（更名）: hadoop fs -mv /hdfs的路径  /hdfs的另一个路径

　　7.删除hdfs中的文件或文件夹:hadoop fs -rm -r /aaa

　　8.修改文件的权限:hadoop fs -chown user:group /aaa   hadoop fs -chmod 700 /aaa

　　9.追加内容到已存在的文件:hadoop fs -appendToFile /本地文件   /hdfs中的文件

　　10.显示文本文件的内容:hadoop fs -cat /hdfs中的文件  hadoop fs -tail /hdfs中的文件

 

6.hdfs核心工作机制

　　1.NameNode元数据管理：

　　　　1.什么是元数据：hdfs的目录结构以及每一个文件块信息（块的id，副本量，存放位置）

　　　　2.元数据由谁管理：NameNode

　　　　3.NameNode把数据记录在哪里：NameNode吧实时的元数据存储在内存当中；而且还会在磁盘中（dfs.namenode.name.dir）存储内存元数据在某个时间点上的镜像文件；同时把引起元数据变化的操作记录在edits日志上。

　　2.checkpoint机制：

　　　　1.secondarynamenode会定期从NameNode上下载fsimage镜像和新生的edits日志，然后加载fsimage到内存，然后按照顺序解析edits文件，对内存中的元数据进行修高整合，整合完成后，将内存元数据序列化成一个新的fsimage，并将这个fsimage上传给NameNode。

　　3.secondary namenode启动位置（默认）

　　　　　　<property>

 　　　　　　　　 <name>dfs.namenode.secondary.http-address</name>

 　　　　　　　　<value>0.0.0.0:50090</value>

　　　　　　</property>

　　4.保存元数据目录位置：

　　　　　　<property>

  　　　　　　　　<name>dfs.namenode.checkpoint.dir</name>

  　　　　　　　　<value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>

　　　　　　</property>