Spark直接读入fastq格式的数据
Posted raisok
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark直接读入fastq格式的数据相关的知识，希望对你有一定的参考价值。
- 输入文件： fastq格式
- 输出结果： kmer的频数和对应的kmer类型
- 系统环境Ubuntu单机版17.01
- spark版本2.7
此次测试主要用到了RDD的函数foreach和zipWithIndex，zipWithIndex这个函数是可以直接对gz文件进行操作的 - python的主要通过lambda函数来进行操作
- 测试代码如下
fastq=‘/home/yueyao/Spark/00.data/reads.left.fq.gz‘
fq_rdd = sc.textFile(fastq)
fq=fq_rdd.zipWithIndex()
def printa(a):
print a
fq.foreach(lambda line:printa(line))以上是关于Spark直接读入fastq格式的数据的主要内容，如果未能解决你的问题，请参考以下文章
fastq格式，如何快速计算fasta, fastq的reads数？