NLTK实现文本切分

Posted 2021-11-30 zrmw

之前已经了解了使用nltk库，将文本作为参数传入相应函数进行切分的方法，下面看看使用正则表达式如何来进行文本切分。

1. 使用正则表达式切分

1.1 通过RegexpTokenizer 进行切分。先导入 RegexpTokenizer 模块，然后构建一个与文本中的标识符相匹配的正则表达式。将此正则表达式作为参数传入RegexpTokenizer ，同时实例化一个对象，使用此对象对文本进行切分。

from nltk.tokenize import RegexpTokenizer

# RegexpTokenizer() 参数是将要匹配的字符串的正则表达式，返回值是所有匹配到的字符串组成的列表
tokenizer = RegexpTokenizer("\w+")
print(tokenizer.tokenize("Don‘t hesitate to ask questions!"))

运行结果：

[‘Don‘, ‘t‘, ‘hesitate‘, ‘to‘, ‘ask‘, ‘questions‘]

1.2 使用 regexp_tokenize 切分。

from nltk.tokenize import regexp_tokenize
sentence = "My name is QWE, and I‘m 22 years old."
print(regexp_tokenize(sentence, pattern= ‘\w+|\$[\d\.]+|\S+‘))

运行结果：

[‘My‘, ‘name‘, ‘is‘, ‘QWE‘, ‘,‘, ‘and‘, ‘I‘, "‘m", ‘22‘, ‘years‘, ‘old‘, ‘.‘]

1.3 以空格为分界点进行切分

from nltk.tokenize import RegexpTokenizer

tok = RegexpTokenizer(‘\s+‘, gaps= True)
print(tok.tokenize("Don‘t hesitate to ask questions"))

1.4 筛选以大写字母开头的单词

from nltk.tokenize import RegexpTokenizer
sentence = "My name is QWE, and I‘m 22 years old.I‘m from China"
capt = RegexpTokenizer(‘[A-Z]\w+‘)
print(capt.tokenize(sentence))

结果：

[‘My‘, ‘QWE‘, ‘China‘]

（看起来都像是直接用正则匹配的。。）

1.5 使用WhitespaceTokenizer可以通过返回元组形式的序列来进行切分，该序列为标识符在语句中的位置和偏移量。

from nltk.tokenize import WhitespaceTokenizer
sentence = " She secured 90.56 % in class X \n. She is a meritorious student\n"
print(list(WhitespaceTokenizer().span_tokenize(sentence)))

结果：

[(1, 4), (5, 12), (13, 18), (19, 20), (21, 23), (24, 29), (30, 31), (33, 34), (35, 38), (39, 41), (42, 43), (44, 55), (56, 63)]