自然语言预处理
Posted fionacai
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了自然语言预处理相关的知识，希望对你有一定的参考价值。
#英文预处理
#按空格进行分词，同时针对推文一些特性，去除@用户名，保留表情等一些特殊符号
tokenizer = TweetTokenizer()
for counter,rev in enumerate(reviews):
# 去除html网页格式
temp = BeautifulSoup(rev)
text = temp.get_text()
# 去除空格
text = re.sub(‘ +‘,‘ ‘,text)
# strip leading and trailing white space
text = text.strip()
# tokenize
tokens = tokenizer.tokenize(text)
cleaned_reviews.append(tokens)
if counter % round(len(reviews)/10) == 0:
print(counter, ‘/‘, len(reviews), ‘reviews cleaned‘)
以上是关于自然语言预处理的主要内容，如果未能解决你的问题，请参考以下文章