BUG-‘Tokenizer’ object has no attribute ‘oov_token’
Posted lyeeer
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了BUG-‘Tokenizer’ object has no attribute ‘oov_token’相关的知识，希望对你有一定的参考价值。
使用keras包实现NLP问题时，报错
/lib/python3.5/dist-packages/keras/preprocessing/text.py”, line 302, in texts_to_sequences_generator elif self.oov_token is not None:
AttributeError: ‘Tokenizer’ object has no attribute ‘oov_token’
报错的代码行为
train_sequences = tokenizer.texts_to_sequences(new_training_list)
从texts_to_sequences()点进去keras的源码，发现它调用texts_to_sequences_generator()方法
而该方法里没有oov_token,后面有调用，但是没有设置
手动设置就ok
在texts_to_sequences_generator()方法里添加
tokenizer.ovv_token=None
OK.Fine
以上是关于BUG-‘Tokenizer’ object has no attribute ‘oov_token’的主要内容，如果未能解决你的问题，请参考以下文章
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
len(tokenizer) 和 tokenizer.vocab_size 有啥区别