概念-hdfs命令

Posted 2020-08-01

环境变量：
    命令行里可以执行相应的命令
    这些命令就是一些可执行的文件
    当在命令行执行命令的时候，
    系统会根据环境变量里设置的PATH的值
    查询所有的目录去寻找相应的可执行文件
        
数据采集（flume，storm）
数据存储（HDFS）
数据处理（MapReduce，Hive，Spark）
数据分析（Mahout，R）


/home/hadoop/hadoop-2.6.0/sbin/start-all.sh
sbin/start-all.sh


NameNode存储数据的元数据
    fsimage 2G，
    a.txt 192.168.10.11 /
    
当fsimage特别大的时候（2G），如果直接对该
    文件进行修改，速度会变的很慢
把操作存到另外的一个文件（控制大小）

Secondary NameNode把fsiamge和edits文件进行合并
    当Namenode挂了。从Secondary NameNode恢复的时候
    只能恢复到最近的合并点
        

心跳

HDFS文件系统和Linux的文件系统很类似
    也是有一个根目录/
HDFS文件系统只能通过$HADOOP_HOME/bin/hadoop fs命令来访问

查看某个目录的下的内容
    bin/hadoop fs -ls /
上传文件
    bin/hadoop fs -put ~/b /
创建目录
    bin/hadoop fs -mkdir /aaa
下载文件
    bin/hadoop fs -get /aaa/b ~/
查看HDFS上文件的内容
    bin/hadoop fs -cat /aaa/b
递归删除目录
    bin/hadoop fs -rm -f -r /aaa

关闭防火墙，在root下，执行service iptables stop