HDFS概述

Posted 2021-02-18 hatcher-h

hdfs基本特性

hdfs是分布式文件存储系统
hdfs是主从架构
namenode：主节点，用于处理客户端请求，管理元数据
datanode：从节点，存储数据
分块存储：	
		文件过大，就会把一个大文件分为一个个block块。
		一个block块的默认大小是128M
统一命名空间：
		对外提供一个文件访问的地址： hdfs://node01:8020
namonode元数据管理：namenode存储所有的元数据，方便数据查找
副本机制：
		假设一个文件1280M，需要分为10个block块，如果一个block块损坏，那么这个文件就有缺失。
		所有每个block块都有副本进行备份。

hdfs适用于频繁读取，不适用频繁数据写入。
每次数据写入都需要改变元数据。

hdfs操作命令

hdfs dfs -ls [-R] / 
hdfs dfs -mkdir [-R] /test/input
hdfs dfs -put local hdfs  复制
hdfs dfs -moveFromLocal local hdfs 剪贴
hdfs dfs -mv /test/file1 /test/file2
hdfs dfs -cp /test/file /root/
hdfs dfs -appendToFile local hdfs 追加到文件中
hdfs dfs -cat 
hdfs dfs -rm [-r][-f]
hdfs dfs -chown hadoop:hadoop /test
hdfs dfs -chmod -R 777 /test
hdfs dfs -expunge 清空回收站

hdfs高级命令

文件数量限制以及空间大小限制

hdfs dfs -mkdir -p /user/root/lisi     #创建hdfs文件夹
hdfs dfsadmin -setQuota 2 lisi      # 给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件
hdfs dfsadmin -clrQuota /user/root/lisi    # 清除文件数量限制


hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB
hdfs dfsadmin -clrSpaceQuota /user/root/lisi   #清除空间限额


查看hdfs文件限额数量
hdfs dfs -count -q -h /user/root/lisi

hdfs  dfsadmin  -safemode

安全模式

安全模式下，只能读数据
hdfs集群刚启动的时候，默认30S钟的时间是出于安全期的

基准测试

布好Hadoop后需要测试读写速度

写入速度
向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到
/benchmarks/TestDFSIO中
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO  -write -nrFiles 10 -fileSize 10MB
正常线上环境写入速度大概20-30M

读取速度
测试hdfs的读取文件性能
在HDFS文件系统中读入10个文件,每个文件10M
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB
正常读取速度大概50-100M

线上测压
10G 100G 500G 1T