文本文档去重脚本

Posted lovesickness

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了文本文档去重脚本相关的知识，希望对你有一定的参考价值。

python去重脚本

# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "old.txt"  #old
writeDir = "new.txt" #new


lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
  if line not in lines_seen:
    a+=1
    outfile.write(line)
    lines_seen.add(line)
    print(a)
    print(‘n‘)
outfile.close()
print("success")

以上是关于文本文档去重脚本的主要内容，如果未能解决你的问题，请参考以下文章