Hadoop java编程中的文件明智处理
Posted
技术标签:
【中文标题】Hadoop java编程中的文件明智处理【英文标题】：File wise processing in Hadoop java programming 【发布时间】：2013-09-10 15:06:09 【问题描述】：我是 Hadoop 新手。我已经安装了 hadoop，并且能够编译和运行字数统计示例。
我需要一些关于如何进行文件操作的信息。
我有一些数据文件（a.txt、b.txt、.....），其中每个文件都有 100 行带有时间戳和读数的行。我想处理这些并为每个文件赋予价值（a- 10,b-15,....)。
主要问题是数据行的顺序对于处理很重要。
谢谢。
【问题讨论】：
看看 MapReduce 教程，例如developer.yahoo.com/hadoop/tutorial/module4.html. 【参考方案1】：如果你想在自己的mapper中读取每个文件，可以试试WholeFileInputFormat
【讨论】：
以上是关于Hadoop java编程中的文件明智处理的主要内容，如果未能解决你的问题，请参考以下文章