访问 pandas 数据一百万次 - 需要提高效率

Posted 2023-03-12

【中文标题】访问 pandas 数据一百万次 - 需要提高效率

【英文标题】：accessing pandas data a million times -need to improve efficiency

【发布时间】：2018-08-07 18:02:39

【问题描述】：

我是一名试图验证实验的生物学家。在我的实验中，我在特定治疗后发现了 71 个突变。为了确定这些突变是否真的是由于我的治疗，我想将它们与一组随机生成的突变进行比较。有人建议我可能会尝试生成一百万组 71 个随机突变进行统计比较。

首先，我有一个数据框，其中包含感兴趣的基因组中的 7000 个基因。我知道他们的开始和结束位置。数据框的前五行如下所示：

    transcript_id   protein_id  start   end kogClass
0   g2.t1   695054  1   1999    Replication, recombination and repair 
1   g3.t1   630170  2000    3056    General function prediction only 
2   g5.t1   695056  3057    4087    Signal transduction mechanisms 
3   g6.t1   671982  4088    5183    N/A
4   g7.t1   671985  5184    8001    Chromatin structure and dynamics 

现在大约有 71 个随机突变的百万组：我编写了一个调用一百万次的函数，它似乎效率不高，因为 4 小时后它只完成了 1/10。这是我的代码。如果有人能提出一种加快速度的方法，我会欠你一杯啤酒！我的感激之情。

def get_71_random_genes(df, outfile):
    # how many nucleotides are there in all transcripts?
    end_pos_last_gene = df.iloc[-1,3]

    # this loop will go 71 times
    for i in range(71):
        # generate a number from 1 to the end of all transcripts
        random_number = randint(1, end_pos_last_gene)
        # this is the boolean condition - checks which gene a random number falls within 
        mask = (df['start'] <= random_number) & (df['end'] >= random_number)
        # collect the rows that match
        data = df.loc[mask]
        # write data to file.
        data.to_csv(outfile, sep='\t', index=False, header=False)

【问题讨论】：

一个重要因素可能是data.to_csv()：您打开和关闭文件 71,000,000 次，由于 I/O 是最慢的操作之一，我猜这是一个巨大的瓶颈。

这是有道理的。有什么更好的方法？构建一个包含 71,000,000 行的大型 df，然后将其写入文件？我认为我可怜的笔记本电脑会崩溃。也许是一本字典？

一个快速的解决方法就是在循环之后调用to_csv，而不是在循环内。 I/O 减少了 71 倍。绝对不想要 71e6 Pandas 专栏，那是灾难的根源。 :( 我会说，将你可以存储的内容存储在 Numpy 数组中，也许每 10,000 组然后写出数组并刷新它。

@ juanpa.arrivillaga - 在大多数情况下，每一行都是一个独特的基因。但是有些基因带有多个“kogClass”注释，布尔掩码返回多行。每个 random_number 旨在模拟单核苷酸多态性，或 DNA 序列的一个字符的变化。掩码旨在找到该序列所属的基因范围。也许最好删除重复的基因并选择 71 个随机行？你会如何建议这样做？我是初学者，请解释一下！

@juanpa.arrivillaga 第一个版本大约一个小时，第二个版本大约 15 分钟。

【参考方案1】：

我很确定以下所有内容都可以：

for i in range(71):
    # generate a number from 1 to the end of all transcripts
    random_number = randint(1, end_pos_last_gene)
    # this is the boolean condition - checks which gene a random number falls within 
    mask = (df['start'] <= random_number) & (df['end'] >= random_number)
    # collect the rows that match
    data = df.loc[mask]
    # write data to file.
    data.to_csv(outfile, sep='\t', index=False, header=False)

是从数据框中随机选择 71 行而不进行替换。请注意，这是永远，因为每次你这样做

(df['start'] <= random_number) & (df['end'] >= random_number)

您遍历整个数据框三次，然后再进行一次：

data = df.loc[mask]

这是一种非常低效的对行进行采样的方法。您可以通过随机抽样 71 个索引来更有效地做到这一点，然后直接在数据帧上使用这些索引（这甚至不需要对数据帧进行一次完整的遍历）。但你不需要这样做，pd.DataFrame 对象已经实现了一个高效的示例方法，所以请注意：

In [12]: df = pd.DataFrame(np.random.randint(0, 20, (10, 10)), columns=["c%d"%d for d in range(10)])

In [13]: df
Out[13]:
   c0  c1  c2  c3  c4  c5  c6  c7  c8  c9
0  13   0  19   5   6  17   5  14   5  15
1   2   4   0  16  19  11  16   3  11   1
2  18   3   1  18  12   9  13   2  18  12
3   2   6  14  12   1   2  19  16   0  14
4  17   5   6  13   7  15  10  18  13   8
5   7  19  18   3   1  11  14   6  13  16
6  13   5  11   0   2  15   7  11   0   2
7   0  19  11   3  19   3   3   9   8  10
8   6   8   9   3  12  18  19   8  11   2
9   8  17  16   0   8   7  17  11  11   0

In [14]: df.sample(3, replace=True)
Out[14]:
   c0  c1  c2  c3  c4  c5  c6  c7  c8  c9
0  13   0  19   5   6  17   5  14   5  15
3   2   6  14  12   1   2  19  16   0  14
3   2   6  14  12   1   2  19  16   0  14

In [15]: df.sample(3, replace=True)
Out[15]:
   c0  c1  c2  c3  c4  c5  c6  c7  c8  c9
9   8  17  16   0   8   7  17  11  11   0
4  17   5   6  13   7  15  10  18  13   8
2  18   3   1  18  12   9  13   2  18  12

In [16]: df.sample(3, replace=True)
Out[16]:
   c0  c1  c2  c3  c4  c5  c6  c7  c8  c9
3   2   6  14  12   1   2  19  16   0  14
8   6   8   9   3  12  18  19   8  11   2
4  17   5   6  13   7  15  10  18  13   8

所以只需将那个循环替换为：

df.sample(71, replace=True).to_csv(outfile, sep='\t', index=False, header=False)

注意，这也减少了 I/O 开销！

所以，只是做一个快速测试：

In [4]: import time
   ...: start = time.time()
   ...: with open('test.csv', 'w') as f:
   ...:     for _ in range(1000):
   ...:         df.sample(71, replace=True).to_csv(f, header=None, index=False)
   ...: stop = time.time()
   ...:

In [5]: stop - start
Out[5]: 0.789172887802124

所以，线性推断，我估计 1,000,000 次大约需要：

In [8]: (stop - start) * 1000
Out[8]: 789.172887802124

几秒钟，所以 10 多分钟

In [10]: !wc -l test.csv
   71000 test.csv

编辑以添加更有效的方法

因此，创建一个映射到数据框中的索引的数组：

size = df.end.max()

nucleotide_array = np.zeros(size, dtype=np.int) # this could get out of hand without being careful of our size

for row in df.itertuples(): # might be alittle slow, but its a one-time upfront cost
    i = row.start - 1
    j = row.end
    nucleotide_array[i:j] = row.Index

# sampling scheme:
with open('test.csv', 'w') as f:
    for _ in range(1000): # how ever many experiments
        snps = np.random.choice(nucleotide_array, 71, replace=True)
        df.loc[snps].to_csv(f, header=None, index=False)

请注意，上面是一个速写，还没有真正测试过。它做出假设，但我认为它们成立，无论如何，您可以轻松地调整您的 df 以便它可以工作。