HDFS入门
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HDFS入门相关的知识，希望对你有一定的参考价值。
2015.07.12笔记
1.HDFS
Distributed File System（操作系统实现人机交互，最重要的功能是文件管理，使用文件管理系统，windows、Linux文件管理系统有共性：用户可创建文件/夹，删除，修改权限，修改源数据信息（创建、修改、访问时间等）。在操作系统中的文件或者数据的管理是通过文件系统实现的，文件系统是操作系统实现文件管理的一个重要的组成部分，操作系统将文件放置到硬件（硬盘，服务器能有一万多兆）当中进行管理。在服务器中，数据的储存管理是通过我们写的程序进行管理，当数据量多时，可在硬盘插槽增加硬盘（6个插槽），可分散到多个系统上，用户不需知道文件存储在哪个IP上（如www.Baidu.com域名对应到多台服务器）DFS分布式文件系统是数据分布在很多个文件系统，而DFS对应的是一个操作系统（）数据量多，用户操作不方便，DFS分布式文件系统凌驾在操作系统所辖的文件管理系统中）
数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。
是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。
容错。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失。
分布式文件管理系统很多，hdfs只是其中一种，不合适小文件（通过一定的策略将小文件变成大文件）。实现文件管理
?
HDFS的Shell（hdfs存储的都是大数据，shell是Linux操作系统的组成部分，hdfs属于hadoop软件的组成部分，在shell中使用特定命令调用hdfs接口中的命令）（ls蓝色字体是文件夹，绿色是文件）
调用文件系统(FS)Shell命令应使用 bin/hdfs dfs xxx 的形式。
所有的FS shell命令使用URI路径作为参数。
URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
例如：/parent/child可以表示成hdfs://namenode:namenodePort/parent/child，或者更简单的/parent/child（假设配置文件是namenode:namenodePort）
大多数FS Shell命令的行为和对应的Unix Shell命令类似。
安装好（绿色文件是用于批量启动hadoop写的文件（照着写））
2.apache hadoop目录结构
（查看的脚本文件）（在java线程概念里面的方法set daemon给它传个true就可以让其变成精灵进程，精灵进程不停跑
查看进程
?
bin sbin 很重要(bin，系统操作命令，存放的都是命令脚本有两类.cmd是在windows下面的命令；sbin系统维护运营)
share(通过路径加载jar包)
?
logs 文件(学会看日志，分析日志，log历史日志，out是当前日志)
通过hdfs操作
hdfs 用法（中括号表示可选，安装hadoop改的配置文件可单独放到单独的文件夹中--config confir适用于很多变化的环境，工作环境使用的是默认目录下的配置文件）空格加command
?
dfs是在被支持的文件系统支持下运行一个文件系统的命令，可参考Linux命令
?
3.HDFS dfs命令
可见文档
注意点：启动进程的用户是super user，可以做任何事情
?
?
在版本2中（脚本没改才提示），不用关心
Hadoop1下使用的是hadoop，（hadoop2版本）dfs，执行结果一样
?
查看目录结构
?
bin/hdfs dfs -ls hdfs://192.168.80.100:9000/
-ls 后面跟的是hdfs访问路径（在配置文件中设置过，可跟主机名（执行hostname查看，端口9000是之前etc/Hadoop/core-site.xml文件配置的）或IP，9000后面的斜杠表示hdfs的根目录）（访问互联网必须通过通过协议http https ftp ）
?
ls命令来自于
在配置etc/Hadoop/core-site.xml文件中设置过hdfs的访问路径
?
文件系统需组织结构，Linux是树状结构，hdfs的根目录（跟Linux不一样）
?
64位机装32位hadoop会出现警告信息（学习没影响，企业使用64位，32位的对内存大小有限制，软件最好通过源码编译成64位）可以通过源码编译hadoop
操作系统64位，hadoop是32位会提示错误
?
非常像Linux文件结构
4.常见HDFS命令
-表示没有副本数，最后一次访问时间
大小单位是字节（目录本身而言不含有数据，所以大小为0），后面是绝对路径（如何知道这些信息）
?
?
指的是文件夹
一级一级查看麻烦
?
注意是—R（Recursively递归使用大写）
-d（普通格式输出）
?
?
-h（默认是字节，加上后根据大小显示单位k，M）
?
简写,去掉hdfs://192.168.80.100:9000（运行时被运行环境补充上了，它是要找本地中是否有hdfs的配置文件，如果有就将里面特定的值给补充上fs.defaultFS）
?
?
?
通过执行命令区分
?
?
误以为是Linux(缺少目的地文件)
-cat
文件系统就是原封不动存取数据，mysql是文件管理系统，
-put
-cp（从hdfs到hdfs）
-copyToFile）（hdfs拷贝到Linux）
-chmod
chmod 777
?
用户/所在者，所在组，其他人（常用的权限是文件夹755,默认创建文件644）
?
?
?
ls什么都不跟默认/user/root
在hdfs下没有目录
currentUser的目录
?
?
?
?
以上是关于HDFS入门的主要内容，如果未能解决你的问题，请参考以下文章