Python基础(3) - 去掉列表或元组中的重复元素

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python基础(3) - 去掉列表或元组中的重复元素相关的知识,希望对你有一定的参考价值。

参考技术A

字典也是大括号,但是跟集合还是有区别。

1.集合没有重复的元素,列表可以有重复元素
集合会自动将重复的字符给删掉,而列表会原样输出显示

2.集合中的元素与顺序无关,而列表中的元素与顺序有关

1.集合没有重复的元素
2.集合中的元素跟顺序无关
3.将列表[],元组() 转换成集合后,重复的元素会自从删掉,然后将集合转成列表[] 元组()

加油-2020-0220

在 Python 元组列表中查找重复项

【中文标题】在 Python 元组列表中查找重复项【英文标题】:Find duplicate items within a list of list of tuples Python 【发布时间】:2013-07-05 07:02:54 【问题描述】:

我想从下面给定的列表中找到匹配的项目。我的列表可能超级大。

元组“N1_10”中的第一个项目被复制并与另一个数组中的另一个项目匹配

ListA 中第一个数组中的元组 ('N1_10', 'N2_28') ListA 中第二个数组中的元组('N1_10', 'N3_98')

ListA  = [[('N1_10', 'N2_28'), ('N1_35', 'N2_44')],
          [('N1_22', 'N3_72'), ('N1_10', 'N3_98')],
          [('N2_33', 'N3_28'), ('N2_55', 'N3_62'), ('N2_61', 'N3_37')]]

我想要的输出是

输出 --> [('N1_10','N2_28','N3_98') , .... 和其余任何匹配的 密钥将进入相同的元组]

如果你们认为,改变 ListA 的数据结构是更好的选择,请随时提出建议! 感谢您的帮助!

简化版

列表 A = [[(a,x),(b,k),(c,l),(d,m)],[(e,d),(a,p),(g,s)],[...],[...]....]

wantedOutput --> [(a,x,p),(b,k),(c,l),(d,m,e), (g,s).....]

【问题讨论】:

等等,你是怎么得到输出的? 我还没有得到输出。这就是我在这里问的原因:) 我的意思是,输出是什么因素?如果你明白我的意思,我没有看到模式 哦,等等,我明白了。是否只有元组中的第一项与其他内容重复? 那个简化版有帮助,谢谢:) 【参考方案1】:

更新:重新阅读您的问题后,您似乎正在尝试创建等价类,而不是收集键的值。如果

[[(1, 2), (3, 4), (2, 3)]]

应该变成

[(1, 2, 3, 4)]

,那么您将需要将输入解释为图形并应用连通分量算法。您可以将您的数据结构转换为adjacency list 表示并使用广度优先或深度优先搜索来遍历它,或者遍历您的列表并构建disjoint sets。无论哪种情况,您的代码都会突然涉及大量与图形相关的复杂性,并且很难根据输入的顺序提供任何输出顺序保证。这是一个基于广度优先搜索的算法:

import collections

# build an adjacency list representation of your input
graph = collections.defaultdict(set)
for l in ListA:
    for first, second in l:
        graph[first].add(second)
        graph[second].add(first)

# breadth-first search the graph to produce the output
output = []
marked = set() # a set of all nodes whose connected component is known
for node in graph:
    if node not in marked:
        # this node is not in any previously seen connected component
        # run a breadth-first search to determine its connected component
        frontier = set([node])
        connected_component = []
        while frontier:
            marked |= frontier
            connected_component.extend(frontier)

            # find all unmarked nodes directly connected to frontier nodes
            # they will form the new frontier
            new_frontier = set()
            for node in frontier:
                new_frontier |= graph[node] - marked
            frontier = new_frontier
        output.append(tuple(connected_component))

但是,不要在不理解的情况下复制它;了解它在做什么,或者编写自己的实现。您可能需要能够维护这一点。 (我会使用伪代码,但 Python 实际上已经和伪代码一样简单了。)

如果我对您问题的原始解释是正确的,并且您的输入是您想要聚合的键值对的集合,那么这是我的原始答案:

原答案

import collections

clusterer = collections.defaultdict(list)

for l in ListA:
    for k, v in l:
        clusterer[k].append(v)

output = clusterer.values()

defaultdict(list) 是一个 dict,它会自动创建一个 list 作为任何不存在的键的值。循环遍历所有元组,收集与同一键匹配的所有值,然后从 defaultdict 创建一个 (key, value_list) 对的列表。

(这段代码的输出和你指定的形式不太一样,但我相信这个形式更有用。如果你想改变形式,那应该是一件简单的事情。)

【讨论】:

首先,这段代码的输出是一个字符列表。你应该使用append 而不是+=。其次,(如果您使用附加),代码会丢失关系信息。我想我知道你想做什么,但这是不对的。 @korylprince:废话,append 是对的。我的错误。另一方面,我最初将这个问题阅读为试图聚合一堆键值对,但在第二次阅读时,它似乎是一个图的连接组件分析。我将使用连接组件算法更新我的响应。 @user2357112 ,是的,它是一种邻接矩阵列表表示。如果您有时间,请告诉如何更改它? @Peter:我添加了一个基于广度优先搜索的算法的示例实现。【参考方案2】:

输出顺序重要吗?这是我能想到的最简单的方法:

ListA  = [[('N1_10', 'N2_28'), ('N1_35', 'N2_44')],[('N1_22', 'N3_72'), ('N1_10', 'N3_98')],
            [('N2_33', 'N3_28'), ('N2_55', 'N3_62'), ('N2_61', 'N3_37')]]

idx = dict()

for sublist in ListA:
    for pair in sublist:
        for item in pair:
            mapping = idx.get(item,set())
            mapping.update(pair)
            idx[item] = mapping 
            for subitem in mapping:
                submapping = idx.get(subitem,set())
                submapping.update(mapping)
                idx[subitem] = submapping


for x in set([frozenset(x) for x in idx.values()]):
    print list(x)

输出:

['N3_72', 'N1_22']
['N2_28', 'N3_98', 'N1_10']
['N2_61', 'N3_37']
['N2_33', 'N3_28']
['N2_55', 'N3_62']
['N2_44', 'N1_35']

【讨论】:

我很确定这是有问题的。每当处理输入对时,对应于该对的第二项的集合被替换为对应于第一项的集合。如果第二个项目已经存储了关联,则会丢失数据。 其实我对 python 还是很陌生。你能解释更多关于forzenset的信息吗?我现在用我的数据集确认,每个元组数组中没有重复的数据,但是,对于整个大 listA 中的不同数组,项目可能重复。 @user2357112 很好。更新了代码以解决此问题和可读性。 @Peter - frozenset 只是一个无法修改的 set。我使用那行代码是因为你不能在 python 中拥有 sets 的 set(因为 set 不可散列)但你可以拥有 frozensets 的 set。跨度> 【参考方案3】:
tupleList = [(1, 2), (3, 4), (1, 4), (3, 2), (1, 2), (7, 9), (9, 8), (5, 6)]

newSetSet = set ([frozenset (aTuple) for aTuple in tupleList])
setSet = set ()

while newSetSet != setSet:
    print '*'
    setSet = newSetSet
    newSetSet = set ()
    for set0 in setSet:
        merged = False
        for set1 in setSet:
            if set0 & set1 and set0 != set1:
                newSetSet.add (set0 | set1)
                merged = True
        if not merged:
            newSetSet.add (set0)

        print [tuple (element) for element in setSet]
        print [tuple (element) for element in newSetSet]
        print 

print [tuple (element) for element in newSetSet]

# Result:  [(1, 2, 3, 4), (5, 6), (8, 9, 7)]

【讨论】:

已测试,为了速度,取出打印语句。 从技术上讲,它可以工作(我认为),但它的性能会很糟糕。在最坏的情况下,它会在指数时间内运行,因为它最终可能会遍历 2 个或更多输入元素的所有可能组合。 每执行一次while循环,至少发生了一次合并,这使得newSetSet的基数少了一个。因此,对于三个嵌套循环,我希望 O (n^3) 而不是 O (exp (n)。但我很可能忽略了一些事情。如果是这样,请解释一下。 一个集合每次迭代可以与许多其他集合合并,而不仅仅是一个。这些合并不会产生一个大的合并集;他们产生了一堆部分合并的集合。发生这种情况时,newSetSet 实际上可以增长。尝试使用tupleList = [(x, y) for x in range(n) for y in range(x)] 获取n 的各种值。

以上是关于Python基础(3) - 去掉列表或元组中的重复元素的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 Scipy.io.loadmat 将 Matlab mat 文件中的字符串单元格数组加载到 Python 列表或元组中

Python 中的两个变量具有相同的 id,但不是列表或元组

我的元组中的那些小“u”是啥? (python 2.7)[重复]

从元组的元组中创建一个列表

python元组或者列表太长?

Python基础入门—元组tuple