关于hadoop HDFS进行读写文件操作的问题

Posted memeda21

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于hadoop HDFS进行读写文件操作的问题相关的知识,希望对你有一定的参考价值。

问题 : java无法链接 报错显示被拒绝链接 刚开始一直以为是自己hadoop没有配好(或者自己的jar包没有导入好),开始就走偏了导致时间浪费

原因是:hadoop没有开起来........

一个读写的代码如下

package com;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class NanShou {

    public static void main(String[] args) throws IOException {
        //HDFS连接
        Configuration conf=new Configuration();
        FileSystem fs = FileSystem.get(conf);
        //要求1
        fs.mkdirs(new Path("/usr/local/hadoop/l"));//建立文件夹
        Path inFile1 =new Path("/usr/local/hadoop/l/hdfstest1.txt");//创建文本hdfstest1.txt
        FSDataOutputStream outputStream1=fs.create(inFile1);
        outputStream1.writeUTF("信1605-1  20163678 胡 HDFS课堂测试");//输入
        outputStream1.flush();
       outputStream1.close();
        //要求2
        Path inFile2=new Path("/usr/local/hadoop/l/hdfstest2.txt");//创建文本hdfstest2.txt
        FSDataOutputStream outputStream2=fs.create(inFile2);
        FSDataInputStream inputStream1=fs.open(inFile1);//打开hdfstest1.txt
        outputStream2.writeUTF(inputStream1.readUTF());//读取hdfstest1.txt内容并写入hdfstest2.txt
        outputStream2.flush();
       outputStream2.close();
       inputStream1.close();
        //要求3
        FSDataInputStream inputStream2=fs.open(inFile2);//打开hdfstest2.txt
      System.out.println(inputStream2.readUTF());//输出//打开hdfstest2.txt内容
      inputStream2.close();
    }
    
}

 

以上是关于关于hadoop HDFS进行读写文件操作的问题的主要内容,如果未能解决你的问题,请参考以下文章

06Hadoop框架HDFS读写流程

hdfs多用户读写权限设置

hadoop 配置问题以及HDFS下如何读写文件

HDFS进阶——文件存储和读写流程

大数据技术之Hadoop(HDFS)概述Shell操作API操作读写流程工作机制

大数据技术之Hadoop(HDFS)概述Shell操作API操作读写流程工作机制