nltk分词

Posted ttzz

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了nltk分词相关的知识,希望对你有一定的参考价值。

1.安装nltk

2.运行如下

>>>import nltk
>>> nltk.download(‘punkt‘)

技术图片

3.代码:

import nltk
sentence= """At eight o‘clock on Thursday morning
... Arthur didn‘t feel very good."""
tokens = nltk.word_tokenize(sentence)
print(tokens)

4.结果

技术图片

 

以上是关于nltk分词的主要内容,如果未能解决你的问题,请参考以下文章

02 NLTK 分句分词词干提取词型还原

自然语言处理(NLP)——分词统计itertools.chain—nltk工具

如何使用 NLTK 分词器去除标点符号?

python nltk 模拟退火分词

nltk 的分词器punkt: ssl问题无法下载

安装和使用nltk