29.Hadoop之HDFS集群搭建笔记
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了29.Hadoop之HDFS集群搭建笔记相关的知识，希望对你有一定的参考价值。
0.修改IP,主机名,hosts文件
setup 修改网卡IP
service network restart 重启网络服务使IP生效
vim /etc/sysconfig/network修改主机名
vim /etc/hosts/修改hosts文件
192.168.126.128 hadoop001
192.168.126.129 hadoop002
192.168.126.130 hadoop003
192.168.126.131 hadoop004
1.安装jdk环境
alt + p 打开远程连接SecureCRT远程传输工具sftp put c:/........tar.gz 把win上软件传到linux
mkdir -p /java/jdk 建多级文件夹
tar -zxvf jdk----.tar.gz -C /java/jdk 解压jdk到指定路径
vim /etc/profile 修改全局环境变量
export JAVA_HOME=/java/jdk/jdk1.7.0_65
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile重新加载配置文件
echo$JAVA_HOME打印变量JAVA_HOME
java -version查看环境变量配置是否成功
安装protobuf
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure --prefix=/opt
配置环境变量加入/opt/bin
protoc -–version
2.安装Hadoop
tar -zxvf hadoop-2.4.1.tar.gz -C /java/解压Hadoop
ls lib/native/查看解压目录下有哪些文件
cd etc/hadoop/进入配置文件目录
vim hadoop-env.sh修改配置文件环境变量(export JAVA_HOME=/java/jdk/jdk1.7.0_65)
*-site.xml*
vim core-site.xml修改配置文件(去官网找参数含义)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000<value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/java/hadoop-2.4.1/tmp<value>
</property>
</configuration>
vim hdfs-site.xml修改hdfs配置文件
<configuration>
<property>
<!-- 副本数量,默认3 -->
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
cp mapred-site.xml.template mapred-site.xml复制一份配置文件样本
vim mapred-site.xml修改mapreduce配置文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vim yarn-site.xml配置yarn配置文件,也可以配置主机名,前提是修改hosts文件映射
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 主节点 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<!-- 从节点 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
vim slaves配置从节点(可以是主机名)
192.168.126.128
192.168.126.129
192.168.126.130
scp /java/hadoop-2.4.1/ [email protected]:/java/hadoop-2.4.1/复制到其他机器
cd /java/hadoop-2.4.1/bin
./hadoop namenode -format格式化HDFS文件系统(建文件和文件夹)
成功:INFO common.Storage: Storage directory /java/hadoop-2.4.1/tmp/dfs/name has been successfully formatted
3.启动
jps看java进程,此时什么都没有
cd sbin/到sbin下找启动命令
./start-dfs.sh启动hdfs
[[email protected] sbin]# jps
2488 NameNode
2746 SecondaryNameNode
2872 Jps
2601 DataNode
[[email protected] ~]# jps
2422 DataNode
2485 Jps
4.启动hdfs客户端
cd /java/hadoop-2.4.1/bin进入bin
./hdfs dfs -ls /查看hsfs /下内容
./hdfs dfs -put /root/install.log hdfs://hadoop001:9000/向hdfs文件系统存入文件(每块128M)
./hdfs dfs -ls /查看hsfs /下内容
ls /java/hadoop-2.4.1/tmp/dfs/查看文件保存位置(namenode,datanode)
ls /java/hadoop-2.4.1/tmp/dfs/(datanode)只有data文件夹
cd /java/hadoop-2.4.1/tmp/dfs/data/current/BP-343820156-192.168.126.128-1443868868316/current/finalized查看文件分了几块
./hdfs dfs -get hdfs://hadoop001:9000/install.log从hdfs上把文件下载下来(get后面指定下载的目录)
原理:
touch hadoop.tar.gz建一个空文件
cat block1 >> hadoop.tar.gz把block追加到hadoop.tar.gz
cat block2 >> hadoop.tar.gz 把block2追加到hadoop.tar.gz
./hdfs dfshdfs其他命令
./hdfs dfs -chown tangwan:hadoop /install.log改变hdfs文件用户所有者和组
./hdfs dfs -ls /install.log查看更改后状态
./hdfs dfs -chmod 600 /install.log更改权限
./hdfs dfs -ls /查看权限
改权限后用户依旧可以下载但是如果建一个文件夹给权限,就只能是指定权限用户上传
./hdfs dfs -df /查看hdfs还剩多少空间kb
./hdfs dfs -df -h /查看hdfs还剩多少空间M,G
./hdfs dfs -mkdir -p /aaa/bbb在hdfs创建文件夹
./hadoop fs -du -s / #查看hdfs占用空间
停止hdfs:
/java/hadoop-2.4.1/sbin进入sbin
./stop-dfs.sh停止hdfs
hadoop001:50070浏览器界面(可以下载不可以上传)
以上是关于29.Hadoop之HDFS集群搭建笔记的主要内容，如果未能解决你的问题，请参考以下文章