用于检查值是否在列表中不适用于集合的逻辑

Question

我正在编写一个程序，无论大小写，该程序都将从文件中删除重复的单词。单词定义为没有空格的任何字符序列，重复项，DUPLICATE，Duplicate和DuPliCate都是重复项。]

我已经通过读取原始文本作为单词（字符串）列表并通过检查当前单词是否在单词的唯一列表中来创建新的唯一字符串列表来使程序正常工作。如果它不在唯一列表中，则将其附加到列表中；否则，将其添加到列表中。忽略换行符的重复项。

你们中许多人都知道，使用列表并不是特别有效，特别是对于大型文本文件。因此，我正在尝试通过使用集合来确定是否应将特定单词附加到唯一列表中来实现此功能。

此逻辑有效，但效率低下：

def remove_duplicates(self):
    """
    :return: void
    Adds each unique word to a new list, checking for all the possible cases.
    """
    print("Removing duplicates...")
    unique = []
    for elem in self.words:
        if elem == '
':
            unique.append(elem)
        else:
            if elem not in unique 
                    and elem.upper() not in unique 
                    and elem.title() not in unique 
                    and elem.lower() not in unique:
                unique.append(elem)
    self.words = unique
因此，逻辑上的事情是使用像这样的集合：

def remove_duplicates(self):
    """
    :return: void
    Adds each unique word to a new list, checking for all the possible cases.        
    """
    print("Removing duplicates...")
    unique = []
    seen = set()
    for elem in self.words:
        lower = elem.lower()       
        seen.add(lower)
        if elem == '
':
            unique.append(elem)
        else:
            if lower not in seen:
                unique.append(elem)       
    self.words = unique
但是，它似乎不起作用。我最终得到一个空的文本文件。我已经打印出了该集，但它不是空的。嵌套的if语句似乎存在问题，并对其可能陷入困境感到困惑。我一直在调试它好几个小时，没有运气。我什至尝试编写if语句，与在效率低下的示例中的工作方式完全一样，但是仍然给我同样的问题。我不知道为什么不将单词附加到唯一。

样本输入：

self.words = ["duplicate", "not", "DUPLICATE", "DuPliCate", "hot"]

预期的输出（需要保留原始顺序，仅保留重复单词的第一个实例）：

 unique = ["duplicate", "not", "hot"]

我正在编写一个程序，无论大小写，该程序都将从文件中删除重复的单词。单词被定义为没有空格的任何字符序列，并且重复，DUPLICATE，Duplicate和DuPliCate ...