带有 hadoop 流的 BWA 工具

Posted 2023-02-22

【中文标题】带有 hadoop 流的 BWA 工具

【英文标题】：BWA tool with hadoop streaming

【发布时间】：2014-01-23 06:45:37

【问题描述】：

Burrows-Wheeler Aligner (BWA)，一种将短核苷酸序列映射到参考基因组的生物信息学工具（算法）。我尝试使用 Hadoop Streaming 运行 BWA，但出现错误。

命令：

hadoop/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.1.1.jar -input /user/hduser/bwainput/chr21.fa -output /user/hduser/bwa_output17 -mapper "/home/hduser/Desktop/bwa-0.7.5a/bwa index /user/hduser/bwainput/chr21.fa" -file /home/hduser/Desktop/bwa_input/chr21.fa

错误信息：

INFO streaming.StreamJob: Tracking URL: /ubuntu:50030/jobdetails.jsp?jobid=job_201401230236_0007
ERROR streaming.StreamJob: Job not successful.
Error: # of failed Map Tasks exceeded allowed limit. FailedCount:1
INFO streaming.StreamJob: killJob...

请建议如何解决此问题？感谢您的帮助。

【参考方案1】：

您可以在以下命令的帮助下使用 hadoop 流运行 bwa mem 工具

hduser@ubuntu:~/apps/hadoop$ bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.1.1.jar -input /user/hduser/fastq/ERR091571.fastq -output 

/user/hduser/bwa_output33 -mapper 'bwa mem -p s_suis.fa -' -reducer 'cat' -file bwa -file s_suis.fa -file s_suis.fa.amb -file s_suis.fa.ann -file s_suis.fa.bwt -file s_suis.fa.pac -file s_suis.fa.sa -numReduceTasks 1

更多详情请参考link