使用 Python 从文本中删除非英语单词

Posted 2023-02-15

【中文标题】使用 Python 从文本中删除非英语单词

【英文标题】：Removing non-English words from text using Python

【发布时间】：2017-05-08 11:39:11

【问题描述】：

我正在对 python 进行数据清理练习，我正在清理的文本包含我想删除的意大利语单词。我一直在网上搜索是否可以使用 nltk 之类的工具包在 Python 上执行此操作。

例如给定一些文本：

"Io andiamo to the beach with my amico."

我想留下：

"to the beach with my" 

有谁知道如何做到这一点？ 任何帮助将非常感激。

【参考方案1】：

您可以使用来自 NLTK 的 words 语料库：

import nltk
words = set(nltk.corpus.words.words())

sent = "Io andiamo to the beach with my amico."
" ".join(w for w in nltk.wordpunct_tokenize(sent) \
         if w.lower() in words or not w.isalpha())
# 'Io to the beach with my'

不幸的是，Io 恰好是一个英文单词。一般来说，可能很难确定一个单词是否是英语。

【讨论】：

已编辑以保留非单词（标点符号、数字等）

您好，谢谢您的回答，但是当我应用了名词的复数形式时。比如资源，男生。它也被删除了。你知道为什么会这样吗？

单词corpus不包含复数形式。您必须先进行词形还原。

如果您收到的是Resource words not found.，请添加以下行：nltk.download('words')。

@DYZ 有没有办法在 array<string> 的列上使用 words 语料库？请查看我的问题question 1 和question 2

【参考方案2】：

在 MAC OSX 中，如果您尝试此代码，它仍然会显示异常。因此，请确保您手动下载单词语料库。一旦你import你的nltk库，让你可能像在mac os中一样它不会自动下载单词语料库。所以你必须下载它，否则你将面临异常。

import nltk 
nltk.download('words')
words = set(nltk.corpus.words.words())

现在您可以执行与前一个人指示的相同的执行。

sent = "Io andiamo to the beach with my amico."
sent = " ".join(w for w in nltk.wordpunct_tokenize(sent) if w.lower() in words or not w.isalpha())

根据NLTK 文档并没有这样说。但是我在 github 上得到了一个 issue 并以这种方式解决了它，它确实有效。如果你不把 word 参数放在那里，你的 OSX 可以注销并一次又一次地发生。

【讨论】：

嘿，但是 nltk 语料库单词本质上并不详尽，它不包含单词的所有不同形式，单词的同义词等......：/它只包含 235886 个独特的英文单词.我试图检查这个词组中是否都存在公司和公司这两个词。我只找到公司而不是公司。考虑到这一点，有没有办法用更多的词、同一个词的不同形式和同义词来增加集合的大小？还是有另一种有效的方法来解决这个问题？

这是词干的来源。您可以使用 NLTK 将词带回词根。例如 [ 'care', 'caring', 'careful'] 都归结为关心。您可以检查 SnowballStemmer

【参考方案3】：

from nltk.stem.snowball import SnowballStemmer

snow_stemmer = SnowballStemmer(language='english')
  
#list of words
words = ['cared', 'caring', 'careful']
  
#stem of each word
stem_words = []
for w in words:
    x = snow_stemmer.stem(w)
    stem_words.append(x)
      
#stemming results
for w1,s1 in zip(words,stem_words):
    print(w1+' ----> '+s1)