hadoop集群配置和在windows系统上运用java操作hdfs

Posted 叶家伟的博客

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop集群配置和在windows系统上运用java操作hdfs相关的知识，希望对你有一定的参考价值。

本文介绍hadoop集群配置和在windows系统上运用java操作hdfs

安装

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/

sudo apt-get install ssh
sudo apt-get install rsync

mkdir /usr/local/hadoop
tar -zxvf hadoop-3.1.1.tar.gz -C /usr/local/hadoop

sudo vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.1
export PATH=.:${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

hadoop version

配置

  1. 服务器

    主机名配置
    hostname 查看主机名
    sudo vim /etc/hostname 修改主机名

    sudo vim /etc/hosts 添加如下配置
        192.168.76.128  master
        192.168.76.129  worker

    shutdown -r now 重启电脑 

配置集群ssh免密登陆
    cd .ssh
    rm id_rsa id_rsa.pub
    ssh-keygen -t rsa
    进入master主机 cat id_rsa.pub >> authorized_keys
    进入worker主机 ssh-copy-id -i master
    进入master主机 chmod 600 authorized_keys
    进入master主机 scp /root/.ssh/authorized_keys worker:/root/.ssh/

cd /usr/local/hadoop/hadoop-3.1.1/

  2. hadoop-env.sh

    sudo vim etc/hadoop/hadoop-env.sh
添加如下配置
export JAVA_HOME=/usr/src/jdk-11.0.1

  3. core-site.xml

    sudo vim etc/hadoop/core-site.xml
<configuration>
    <!-- 配置NameNode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <!-- 配置数据目录，用来存放文件 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoopdata</value> 
    </property>
</configuration>

  4. hdfs-site.xml

    sudo vim etc/hadoop/hdfs-site.xml
<configuration>
    <!-- 配置副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

  5. yarn-site.xml

    sudo vim etc/hadoop/yarn-site.xml
添加如下配置
<configuration>

    <!--  配置管理者-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce-shuffle</value>
    </property>
</configuration>

  6. mapred-site.xml

    cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
sudo vim etc/hadoop/mapred-site.xml
    添加如下配置
    <configuration>
        <!--  配置集群运行方式-->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapred.job.tracker</name>
            <value>master:9001</value>
        </property>
    </configuration>

  7. start-dfs.sh

    sudo vim sbin/start-dfs.sh
添加如下配置
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

  8. stop-dfs.sh

    sudo vim sbin/stop-dfs.sh
添加如下配置
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

  9. start-yarn.sh

    sudo vim sbin/start-yarn.sh
添加如下配置
YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

  10. stop-yarn.sh

    添加如下配置
YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

  11. 运行

    进入master运行 hdfs namenode -format               # 格式化
进入master运行 hadoop-daemon.sh start namenode     # 开始文件系统
进入worker运行 hadoop-daemon.sh start datanode     # 开始文件系统
jps                                 # 查看启动的namenode
netstat -ant                        # 查看50070端口是否建立连接

访问 http://master:50070 即可看到管理界面

概念

hdfs集群 负责文件读写，namenode管理，datanode负责存储

yarn集群 为mapreduce程序分配硬件资源，resourcemanager需要单独放在另外一台服务器,nodemanager部署在datanode上

hadoop常用shell命令

hadoop fs -ls /                     查看fdfs根目录
hadoop fs -put file1.txt /          上传文件到fdfs根目录
hadoop fs -cat /file1.txt           查看文件内容
hadoop fs -mkdir -p /tests/test     创建文件夹

运行自带的mapreduce程序 
cd /usr/local/hadoop/hadoop-2.9.2/share/hadoop/mapreduce
计算指定/tests/test文件夹下面文件的个数，并且将结果放在/test/count下
hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /tests/test /test/count

使用java操作hadoop

  1. 依赖

    缺一不可
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.1.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.1.1</version>
</dependency>

  2. 在你当前操作系统中添加host信息

    C:WINDOWSsystem32driversetchosts 修改此文件
192.168.76.128  master
192.168.76.129  worker

  3. 上传文件

    Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
fs.copyFromLocalFile(new Path("F:/test.txt"),new Path("/"));

  4. 下载文件

    下载文件需要当前操作系统也要有hadoop环境，关于windows系统装hadoop环境的步骤如下
1. http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 下载一个hadoop版本
2. http://download.csdn.net/detail/wuxun1997/9841472 下载windows需要的工具包
3. 解压hadoop并且配置HADOOP_HOME环境变量，并且在PATH里加上%HADOOP_HOME%in
4. 将工具包解压的文件放置在hadoop文件夹的bin目录中，并且将hadoop.dll放置于c:/windows/System32中即可

Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
fs.copyToLocalFile(new Path("/test.txt"), new Path("F:/"));

  5. 创建文件夹

    Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
fs.mkdirs(new Path("/app/test"));

  6. 列出根目录所有的文件

    Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(new Path("/"), true);
while (iterator.hasNext()){
    LocatedFileStatus next = iterator.next();
    System.out.println(next.getPath());
}

  7. 列出根目录所有的文件和文件夹

    Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
for (int i = 0; i < fileStatuses.length; i++) {
    FileStatus fileStatus = fileStatuses[i];
    System.out.println(fileStatus.getPath());
}

  8. 删除文件

    Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
fs.delete(new Path("/test.txt"), true);

以上是关于hadoop集群配置和在windows系统上运用java操作hdfs的主要内容，如果未能解决你的问题，请参考以下文章

Hadoop2.2集群安装配置-Spark集群安装部署

eclipse连接hadoop集群总体思路

Hadoop HBase 单机环境简单配置教程

maven怎么连接hadoop集群

zookeeper安装遇到的error和解决方案

请问hadoop的hdfs文件系统和本地windows文件系统或linux文件系统是啥关系啊，谢谢