python删除列表中的重复元素并保持相对顺序不变

Posted 2021-06-26 Data+Science+Insight

python删除列表中的重复元素并保持相对顺序不变

 

从列表中删除重复项以便所有元素都是唯一的同时保持原有相对顺序不变

对于列表我们可以使用如下方法：

l1 = [1,7,7,8,5,5,4] 
l2 = list(set(l1)) 
l2.sort(key=l1.index)
print (l2) 

那么如果我们需要去除冗余数据的数据结构是字典、文件那？

#如果序列上的值都是 hashable 类型，那么可以很简单的利用集合或者生成器来解决这个问题。

def dedupe(items):
    seen = set()
    for item in items:
        if item not in seen:
            yield item
            seen.add(item)

test_list = [10,10,1,200,200,9,0,9,1000,50,10,10]
# 想消除重复元素，通常可以简单的构造一个集合
# 但是set方法不能维护元素的顺序，生成的结果中的元素位置被打乱。
print(set(test_list))
list(dedupe(test_list))

#
{0, 1, 200, 9, 10, 1000,