无法从 Pig Latin 的 Hadoop HDFS 加载文件
Posted
技术标签:
【中文标题】无法从 Pig Latin 的 Hadoop HDFS 加载文件【英文标题】:Cannot load a file from Hadoop HDFS from Pig Latin 【发布时间】:2015-05-28 20:11:45 【问题描述】:我在尝试从文件加载 csv 时遇到问题。我不断收到以下错误:
Input(s):
Failed to read data from "hdfs://localhost:9000/user/der/1987.csv"
Output(s):
Failed to produce result in "hdfs://localhost:9000/user/der/totalmiles3"
查看安装在本地计算机上的 Hadoop hdfs,我看到了该文件。实际上该文件位于多个位置,例如 /、/user/ 等。
hdfs dfs -ls /user/der
Found 1 items
-rw-r--r-- 1 der supergroup 127162942 2015-05-28 12:42
/user/der/1987.csv
我的猪脚本如下:
records = LOAD '1987.csv' USING PigStorage(',') AS
(Year, Month, DayofMonth, DayOfWeek, DepTime, CRSDepTime, ArrTime,
CRSArrTime, UniqueCarrier, FlightNum, TailNum,ActualElapsedTime,
CRSElapsedTime,AirTime,ArrDelay, DepDelay, Origin, Dest,
Distance:int, TaxIn, TaxiOut, Cancelled,CancellationCode,
Diverted, CarrierDelay, WeatherDelay, NASDelay, SecurityDelay,
lateAircraftDelay);
milage_recs= GROUP records ALL;
tot_miles = FOREACH milage_recs GENERATE SUM(records.Distance);
STORE tot_miles INTO 'totalmiles3';
我使用 -x 本地选项运行 pig。我可以使用 -x local 选项从本地硬盘读取文件。得到了正确的答案并且 Hadoop namenode 上的 tail -f 没有滚动,这证明我在硬盘上本地运行了所有文件:
pig -x local totalmiles.pig
现在我遇到了错误。似乎 hadoop 名称服务器正在收到请求,因为我使用了 tail -f 并看到日志滚动。
pig totalmiles.pig
records = LOAD '/user/der/1987.csv' USING PigStorage(',') AS
我收到以下错误:
Failed Jobs:
JobId Alias Feature Message Outputs
job_local602774674_0001 milage_recs,records,tot_miles
GROUP_BY,COMBINER Message: ENOENT: No such file or directory
at
org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(Native Method)
at
org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.java:230)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.j
ava:724)
at
org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java: 502)
at org.apache.hadoop.fs.FileSystem.mkdirs(FileSys tem.java:600)
at
org.apache.hadoop.mapreduce.JobResourceUploader.uploadFiles(JobResourceUpl
oader.java:94)
at
org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitte
r.java:98)
at org .apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:193)
...blah...
Input(s):
Failed to read data from "/user/der/1987.csv"
Output(s):
Failed to produce result in "hdfs://localhost:9000/user/der/totalmiles3"
我使用 hdfs 来检查 mkdir 的权限,这似乎没问题:
hdfs dfs -mkdir /user/der/temp2
hdfs dfs -ls /user/der
Found 3 items
-rw-r--r-- 1 der supergroup 127162942 2015-05-28 12:42
/user/der/1987.csv
drwxr-xr-x - der supergroup 0 2015-05-28 16:21
/user/der/temp2
drwxr-xr-x - der supergroup 0 2015-05-28 15:57
/user/der/test
我用 mapreduce 选项尝试了猪,但仍然得到相同类型的错误:
pig -x mapreduce totalmiles.pig
5-05-28 20:58:44,608 [JobControl] INFO
org.apache.hadoop.mapreduce.lib.jobc
ontrol.ControlledJob - PigLatin:totalmiles.pig while
submitting
ENOENT: No such file or directory
at
org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(Na at
org.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.java:230)
at
org.apache.hadoop.fs.RawLocalFileSystem.setPermissi at
org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSy
at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:600)
at
org.apache.hadoop.mapreduce.JobResourceUploader.uploadFiles(Job
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(Jo
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobS
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
我的core-site.xml
的温度dir
如下:
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop</value>
<description>A base for other temporary directories.
</description>
</property>
和我的hdfs-site.xml
作为namenode
和datanode
如下:
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/datanode</value>
</property>
我在调试问题方面做得更进一步。看来我的名称节点配置错误,因为我无法重新格式化它:
[hadoop hdfs formatting gets error failed for Block pool]
【问题讨论】:
您可以尝试使用pig -x mapreduce
更改 MapReduce 模式并运行作业吗?
检查运行 pig 命令的目录,该目录权限在这里很重要
【参考方案1】:
我们必须将 hadoop 文件路径指定为:/user/der/1987.csv
records = LOAD '/user/der/1987.csv' USING PigStorage(',') AS
(Year, Month, DayofMonth, DayOfWeek, DepTime, CRSDepTime, ArrTime,
CRSArrTime, UniqueCarrier, FlightNum, TailNum,ActualElapsedTime,
CRSElapsedTime,AirTime,ArrDelay, DepDelay, Origin, Dest,
Distance:int, TaxIn, TaxiOut, Cancelled,CancellationCode,
Diverted, CarrierDelay, WeatherDelay, NASDelay, SecurityDelay,
lateAircraftDelay);
如果用于测试,您可以将文件 : 1987.csv 放在执行 pig 脚本的路径中,即将 1987.csv 和 .pig 文件放在同一位置。
【讨论】:
感谢您的及时回复。如果您的意思是我可以将猪文件放在 1987.csv 的位置以进行测试,那么我就这样做了。猪 -x 本地总里程数。猪。得到了正确的答案,并且 Hadoop namenode 上的 tail -f 没有滚动,这证明我在硬盘上本地运行了所有文件。 现在我运行脚本进行了以下更改: pig totalmiles.pig \n records = LOAD '/user/der/1987.csv' USING PigStorage(',') 因为我收到以下错误:失败的作业:JobId 别名功能消息输出。错误是在 mkdir 权限下 Pig latin 上的 Java 异常。 hadoop/logs/namenode.og 滚动了,看起来不错。 hdfs dfs -mkdir /user/der/temp2 工作证明权限在 hdfs 上没问题。 @Derek:请。使用加载分析时看到的错误消息更新问题。以上是关于无法从 Pig Latin 的 Hadoop HDFS 加载文件的主要内容,如果未能解决你的问题,请参考以下文章