初心大陆-----python宝典之以外学习中。

Posted 2020-07-28

群里同学的需求，刚学一段时间，到网上搜了下资料就开始操作了。

 2个文件排重，在第二个文件里把第一个文件里出现的行删除，第一个文件有8000行，第二个文件有2000万行 

环境1：

文件1

cat a.txt

aa

aaa

bb

cc

文件2

cat b.txt

aaa

ccc

vvv

cat c.py

python脚本

#!/usr/bin/env python

import difflib

import sys

a = open(‘a.txt‘, ‘U‘).readlines()

b = open(‘b.txt‘, ‘U‘).readlines()

diff = difflib.ndiff(a,b)

sys.stdout.writelines(diff)

python c.py > d.txt 输出脚本到d.txt

cat d.txt |awk -F ‘ ‘ ‘$1~/+/{print $2}‘

ccc

vvv

把开头为加号的选出即可。