Python删除重复项并将其写入新文件

Posted 2021-05-03

我想从文本文件中删除重复的行，并写入两个新的文本文件：1个没有重复的输出文件，另一个文件包含在我的原始文件中重复的行。

import re
import sys

lines_seen = set() # holds lines already seen
lines_seen.clear()
dups=open("dups.txt", "w")
outfile = open("out.txt", "w")
for line in open("input.txt", "r"):
    if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)

    else:

        dups.write(line)
lines_seen.clear()
outfile.close()
dups.close()

输出文件小于原始文件，这意味着已删除行；但是，重复的文件为空，不会写入重复的行。

答案

由于要清除dups文件并再次对其进行写入，因此需要在其后附加：

dups=open("dups.txt", "a")