Spark直接读入fastq格式的数据

Posted 2021-12-04 raisok

• 输入文件： fastq格式
• 输出结果： kmer的频数和对应的kmer类型
• 系统环境Ubuntu单机版17.01
• spark版本2.7
  此次测试主要用到了RDD的函数foreach和zipWithIndex，zipWithIndex这个函数是可以直接对gz文件进行操作的
• python的主要通过lambda函数来进行操作
• 测试代码如下

fastq=‘/home/yueyao/Spark/00.data/reads.left.fq.gz‘
fq_rdd = sc.textFile(fastq)
fq=fq_rdd.zipWithIndex()
def printa(a):
    print a
fq.foreach(lambda line:printa(line))