用于整数特征的 NLTK 分类器？
Posted
技术标签:
【中文标题】用于整数特征的 NLTK 分类器？【英文标题】：NLTK classifier for integer features? 【发布时间】：2018-09-11 00:33:55 【问题描述】：我的特征向量中有整数类型的特征，NLTK 的 NaiveBayesClassifier 将其视为标称值。
上下文
我正在尝试使用 n-gram 构建语言分类器。例如，二元组“th”在英语中比法语更常见。
对于我训练集中的每个句子，我提取如下特征：bigram(th): 5 其中 5（示例）表示二元组“th”在句子中出现的次数。
当我尝试构建具有此类特征的分类器并检查信息量最大的特征时，我意识到分类器没有意识到这些特征是线性的。例如，它可能会将bigram(ea): 4 视为法语，将bigram(ea): 5 视为英语，并将bigram(ea): 6 视为法语。这是相当随意的，并不代表二元组在英语或法语中更常见的逻辑。这就是为什么我需要这样对待整数。
更多想法
当然，我可以用has(th): True 等功能替换这些功能。但是，我认为这是一个坏主意，因为带有 1 个 'th' 实例的法语句子和带有 5 个 'th' 实例的英语句子都将具有无法区分它们的 has(th): True 特征。
我也找到了this relevant link，但它没有为我提供答案。
特征提取器
我的特征提取器如下所示：
def get_ngrams(word, n):
ngrams_list = []
ngrams_list.append(list(ngrams(word, n, pad_left=True, pad_right=True, left_pad_symbol='_', right_pad_symbol='_')))
ngrams_flat_tuples = [ngram for ngram_list in ngrams_list for ngram in ngram_list]
format_string = ''
for i in range(0, n):
format_string += ('%s')
ngrams_list_flat = [format_string % ngram_tuple for ngram_tuple in ngrams_flat_tuples]
return ngrams_list_flat
# Feature extractor
def get_ngram_features(sentence_tokens):
features =
# Unigrams
for word in sentence_tokens:
ngrams = get_ngrams(word, 1)
for ngram in ngrams:
features[f'char(ngram)'] = features.get(f'char(ngram)', 0) + 1
# Bigrams
for word in sentence_tokens:
ngrams = get_ngrams(word, 2)
for ngram in ngrams:
features[f'bigram(ngram)'] = features.get(f'bigram(ngram)', 0) + 1
# Trigrams
for word in sentence_tokens:
ngrams = get_ngrams(word, 3)
for ngram in ngrams:
features[f'trigram(ngram)'] = features.get(f'trigram(ngram)', 0) + 1
# Quadrigrams
for word in sentence_tokens:
ngrams = get_ngrams(word, 4)
for ngram in ngrams:
features[f'quadrigram(ngram)'] = features.get(f'quadrigram(ngram)', 0) + 1
return features
特征提取示例
get_ngram_features(['test', 'sentence'])
返回：
'char(c)': 1,
'char(e)': 4,
'char(n)': 2,
'char(s)': 2,
'char(t)': 3,
'bigram(_s)': 1,
'bigram(_t)': 1,
'bigram(ce)': 1,
'bigram(e_)': 1,
'bigram(en)': 2,
'bigram(es)': 1,
'bigram(nc)': 1,
'bigram(nt)': 1,
'bigram(se)': 1,
'bigram(st)': 1,
'bigram(t_)': 1,
'bigram(te)': 2,
'quadrigram(_sen)': 1,
'quadrigram(_tes)': 1,
'quadrigram(ence)': 1,
'quadrigram(ente)': 1,
'quadrigram(est_)': 1,
'quadrigram(nce_)': 1,
'quadrigram(nten)': 1,
'quadrigram(sent)': 1,
'quadrigram(tenc)': 1,
'quadrigram(test)': 1,
'trigram(_se)': 1,
'trigram(_te)': 1,
'trigram(ce_)': 1,
'trigram(enc)': 1,
'trigram(ent)': 1,
'trigram(est)': 1,
'trigram(nce)': 1,
'trigram(nte)': 1,
'trigram(sen)': 1,
'trigram(st_)': 1,
'trigram(ten)': 1,
'trigram(tes)': 1
【问题讨论】：
您是否尝试通过将事件与阈值进行比较来将其转化为名义特征？ （即 th=5） @KonstantinosKokos 这并不理想，因为很难确定所有 n-gram 的最佳阈值 @KonstantinosKokos 你的名字听起来是希腊语。实际上，我正在研究的确切问题涉及希腊语。你可以看这里：github.com/hb20007/greek-dialect-classifier/blob/master/… 看起来很有趣。我不知道您对朴素贝叶斯有多大的困扰，但我很确定其他简单的学习算法（例如随机森林）会自行选择阈值。 除了/而不是在句子中为bigram(xx): n 的每个可能值 n 进行特征化，只需计算字符密度：2*二元组数 'xx' / 句子中的字符数。是的，随机森林会发现能够最大程度提高杂质指标的特征和阈值。
【参考方案1】：
TL;DR
为此目的使用其他库更容易。使用自定义分析器使用sklearn 执行类似https://www.kaggle.com/alvations/basic-nlp-with-nltk 的操作会更容易，例如CountVectorizer(analyzer=preprocess_text)
例如：
from io import StringIO
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from nltk import everygrams
def sent_process(sent):
return [''.join(ng) for ng in everygrams(sent.replace(' ', '_ _'), 1, 4)
if ' ' not in ng and '\n' not in ng and ng != ('_',)]
sent1 = "The quick brown fox jumps over the lazy brown dog."
sent2 = "Mr brown jumps over the lazy fox."
sent3 = 'Mr brown quickly jumps over the lazy dog.'
sent4 = 'The brown quickly jumps over the lazy fox.'
with StringIO('\n'.join([sent1, sent2])) as fin:
# Override the analyzer totally with our preprocess text
count_vect = CountVectorizer(analyzer=sent_process)
count_vect.fit_transform(fin)
count_vect.vocabulary_
train_set = count_vect.fit_transform([sent1, sent2])
# To train the classifier
clf = MultinomialNB()
clf.fit(train_set, ['pos', 'neg'])
test_set = count_vect.transform([sent3, sent4])
clf.predict(test_set)
剖面图
首先，实际上没有必要将char(...)、unigram(...)、bigram(...)、trigram(...) 和quadrigram(...) 部分显式标记为功能。
功能集只是字典键，您可以使用实际的 ngram 元组作为键，例如
from collections import Counter
from nltk import ngrams, word_tokenize
features = Counter(ngrams(word_tokenize('This is a something foo foo bar foo foo sentence'), 2))
[出]：
>>> features
Counter(('This', 'is'): 1,
('a', 'something'): 1,
('bar', 'foo'): 1,
('foo', 'bar'): 1,
('foo', 'foo'): 2,
('foo', 'sentence'): 1,
('is', 'a'): 1,
('something', 'foo'): 1)
对于多个订单的ngram，可以使用everygrams()，例如
from nltk import everygrams
sent = word_tokenize('This is a something foo foo bar foo foo sentence')
Counter(everygrams(sent, 1, 4))
[出]：
Counter(('This',): 1,
('This', 'is'): 1,
('This', 'is', 'a'): 1,
('This', 'is', 'a', 'something'): 1,
('a',): 1,
('a', 'something'): 1,
('a', 'something', 'foo'): 1,
('a', 'something', 'foo', 'foo'): 1,
('bar',): 1,
('bar', 'foo'): 1,
('bar', 'foo', 'foo'): 1,
('bar', 'foo', 'foo', 'sentence'): 1,
('foo',): 4,
('foo', 'bar'): 1,
('foo', 'bar', 'foo'): 1,
('foo', 'bar', 'foo', 'foo'): 1,
('foo', 'foo'): 2,
('foo', 'foo', 'bar'): 1,
('foo', 'foo', 'bar', 'foo'): 1,
('foo', 'foo', 'sentence'): 1,
('foo', 'sentence'): 1,
('is',): 1,
('is', 'a'): 1,
('is', 'a', 'something'): 1,
('is', 'a', 'something', 'foo'): 1,
('sentence',): 1,
('something',): 1,
('something', 'foo'): 1,
('something', 'foo', 'foo'): 1,
('something', 'foo', 'foo', 'bar'): 1)
一种提取所需特征的简洁方法：
def sent_vectorizer(sent):
return [''.join(ng) for ng in everygrams(sent.replace(' ', '_ _'), 1, 4)
if ' ' not in ng and ng != ('_',)]
Counter(sent_vectorizer('This is a something foo foo bar foo foo sentence'))
[出]：
Counter('o': 9, 's': 4, 'e': 4, 'f': 4, '_f': 4, 'fo': 4, 'oo': 4, 'o_': 4, '_fo': 4, 'foo': 4, 'oo_': 4, '_foo': 4, 'foo_': 4, 'i': 3, 'n': 3, 'h': 2, 'a': 2, 't': 2, 'hi': 2, 'is': 2, 's_': 2, '_s': 2, 'en': 2, 'is_': 2, 'T': 1, 'm': 1, 'g': 1, 'b': 1, 'r': 1, 'c': 1, 'Th': 1, '_i': 1, '_a': 1, 'a_': 1, 'so': 1, 'om': 1, 'me': 1, 'et': 1, 'th': 1, 'in': 1, 'ng': 1, 'g_': 1, '_b': 1, 'ba': 1, 'ar': 1, 'r_': 1, 'se': 1, 'nt': 1, 'te': 1, 'nc': 1, 'ce': 1, 'Thi': 1, 'his': 1, '_is': 1, '_a_': 1, '_so': 1, 'som': 1, 'ome': 1, 'met': 1, 'eth': 1, 'thi': 1, 'hin': 1, 'ing': 1, 'ng_': 1, '_ba': 1, 'bar': 1, 'ar_': 1, '_se': 1, 'sen': 1, 'ent': 1, 'nte': 1, 'ten': 1, 'enc': 1, 'nce': 1, 'This': 1, 'his_': 1, '_is_': 1, '_som': 1, 'some': 1, 'omet': 1, 'meth': 1, 'ethi': 1, 'thin': 1, 'hing': 1, 'ing_': 1, '_bar': 1, 'bar_': 1, '_sen': 1, 'sent': 1, 'ente': 1, 'nten': 1, 'tenc': 1, 'ence': 1)
长期
不幸的是，没有简单的方法可以更改 NLTK 中 NaiveBayesClassifier 的硬编码方式的工作方式。
如果我们查看 https://github.com/nltk/nltk/blob/develop/nltk/classify/naivebayes.py#L185 ，幕后 NLTK 已经在计算特征中出现的次数。
但请注意，它计算的是文档频率，而不是词频，即在这种情况下，无论一个元素在文档中出现多少次，它都计为一次。如果不更改 NLTK 代码来添加每个功能的值，就没有一种干净的方法，因为它被硬编码为 +=1, https://github.com/nltk/nltk/blob/develop/nltk/classify/naivebayes.py#L201
【讨论】：
确实，sklearn 的MultinomialNB 分类器适用于整数特征。我对数据进行了矢量化，构建了分类器，然后使用 ***.com/a/11140887/4304516 检查了信息量最大的特征以上是关于用于整数特征的 NLTK 分类器？的主要内容，如果未能解决你的问题，请参考以下文章