bayaim_hadoop2_hdfs_20181107

Posted 2021-01-21 上帝_BayaiM

------------------bayaim_bayaim_hadoop2_hdfs_20181107---------------------------------

HDFS 原理：上传数据要分块（128M）分块存储
分布式文件系统
---------先启动HDFS----------------
1. sbin/start-dfs.sh
一直输入：yes
电脑密码: root/dba_2018
-----------再启动YARN-----------
2. sbin/start-yarn.sh
3 验证是否启动成功
# jps ------------------------------
使用jps命令验证
27408 NameNode ----hdfs 的老大
28218 Jps ----java 相关的命令
27643 SecondaryNameNode ----hdfs 的助理，帮助数据同步
28066 NodeManager ----YARN 的小弟
27803 ResourceManager ----YARN 的老大，资源的分配 调度
27512 DataNode ----hdfs 的小弟
[[email protected] sbin]# ./stop-all.sh ---------------------------------

This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [testoracle]
testoracle: stopping namenode
localhost: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
stopping yarn daemons
stopping resourcemanager
localhost: stopping nodemanager
no proxyserver to stop

[[email protected] sbin]# ./start-dfs.sh ---------------------------------
[[email protected] sbin]# hadoop fs -ls hdfs://testoracle:9000/
[[email protected] sbin]# hadoop fs -copyFromLocal /home/oracle/import.log /import.log （管道，进行分页）
[[email protected] ~]# hadoop fs -ls -R /
[[email protected] ~]# hdfs dfs -ls -R /
[[email protected] hadoop-2.2.0]# hadoop fs -chgrp root /import.log
[[email protected] hadoop-2.2.0]# hadoop fs -ls /

http://192.168.210.82:50070 (HDFS管理界面)
http://192.168.210.82:8088 （MR管理界面YARN）

1.元数据 ： 文件存了几个副本 、 有几块、 在哪台机器上（账本，数据的描述信息，namenode metadata）
2.数据：datanodes 怎么知道文件损坏：校验核 、 MD5值 算法（每个文件是唯一的）大数据采用C32 校验机制