读取和解析 TSV 文件，然后对其进行操作以保存为 CSV（*高效*）

Posted 2023-02-23

【中文标题】读取和解析 TSV 文件，然后对其进行操作以保存为 CSV（*高效*）

【英文标题】：reading and parsing a TSV file, then manipulating it for saving as CSV (*efficiently*)

【发布时间】：2012-12-09 04:49:20

【问题描述】：

我的源数据在一个 TSV 文件中，有 6 列，超过 200 万行。

这是我想要完成的：

我需要读取此源文件中 3 列 (3, 4, 5) 中的数据 第五列是一个整数。我需要使用这个整数值来复制行条目，并使用第三列和第四列中的数据（按整数倍）。 我想将 #2 的输出写入 CSV 格式的输出文件。

以下是我想出的。

我的问题：这是一种有效的方法吗？在 200 万行上尝试时，它似乎可能会很密集。

首先，我制作了一个示例选项卡单独文件以供使用，并将其命名为“sample.txt”。它是基本的，只有四行：

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

然后我有这个代码：

import csv 

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('\t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv', 'a', newline='') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1

【参考方案1】：

您应该使用csv 模块来读取制表符分隔值文件。不要不要一口气把它读入内存。毕竟，您读取的每一行都包含将行写入输出 CSV 文件所需的所有信息。始终保持输出文件打开。

import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in range(count)])

或者，使用itertools 模块与itertools.repeat() 进行重复：

from itertools import repeat
import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))

【讨论】：

对不起，我的无知，但最后一行的下划线是什么意思/做什么？

@SamuelLampa：它只是一个占位符；它是像i 或counter 这样的普通变量，但在这种情况下，它只是意味着我不在乎这个循环变量有什么值，因为我无论如何都会忽略它。

@MartijnPieters，好的，谢谢！ （怀疑是这样，但不确定它是否对数组索引或其他东西做了一些魔术。）

@SamuelLampa：换句话说，按照惯例，它用于您必须有分配目标但又想忽略分配值的任何地方。你也可以在元组解包中看到它：name, _, _, score = line.split()，例如，忽略分割线的两个中间值。