Alluxio文件操作Java API示例

Posted lipeng_bigdata

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Alluxio文件操作Java API示例相关的知识,希望对你有一定的参考价值。

        

        一、写文件

		// 获取文件系统客户端FileSystem实例
		FileSystem fs = FileSystem.Factory.get();
		
		// 构造Alluxio路径AlluxioURI实例
		AlluxioURI path = new AlluxioURI("/myFile");
		
		// 设置一些操作选项
		// 设置文件块大小为128M
		CreateFileOptions options = CreateFileOptions.defaults().setBlockSize(128 * Constants.MB);
		
		// 创建一个文件并获取它的文件输出流FileOutStream实例
		FileOutStream out = fs.createFile(path);
		
		// 调用文件输出流FileOutStream实例的write()方法写入数据
		out.write(...);
		
		// 关闭文件输出流FileOutStream实例,结束写文件操作
		out.close();

        二、读文件

		// 获取文件系统客户端FileSystem实例
		FileSystem fs = FileSystem.Factory.get();
				
		// 构造Alluxio路径AlluxioURI实例
		AlluxioURI path = new AlluxioURI("/myFile");
				
		// 打开一个文件,获得文件输入流FileInStream(同时获得一个锁以防止文件被删除)
		FileInStream in = fs.openFile(path);
		
		// 调用文件输入流FileInStream实例的read()方法读数据
		in.read(...);
		
		// 关闭文件输入流FileInStream实例,结束读文件操作(同时释放锁)
		in.close();


        


以上是关于Alluxio文件操作Java API示例的主要内容,如果未能解决你的问题,请参考以下文章

Alluxio原理和应用场景随笔

Java API操作Hdfs详细示例

Java API操作Hdfs详细示例

Hadoop java编程中的文件明智处理

Alluxio - 访问 underfs 中的现有文件

如何读取从 API 检索到的 JSON 并将其保存到 CSV 文件中?