《30天吃掉那只 TensorFlow2.0》 1-3 文本数据建模流程范例 (imdb电影评论分类问题)

Posted 2022-08-23 风信子的猫Redamancy

1-3 文本数据建模流程范例 (imdb电影评论分类问题)

文章目录

• • 1-3 文本数据建模流程范例 (imdb电影评论分类问题)
  • • 一，准备数据
    • 二，定义模型
    • 三，训练模型
    • 四，评估模型
    • 五，使用模型
    • 六，保存模型

一，准备数据

imdb数据集的目标是根据电影评论的文本内容预测评论的情感标签。

训练集有20000条电影评论文本，测试集有5000条电影评论文本，其中正面评论和负面评论都各占一半。

文本数据预处理较为繁琐，包括中文切词（本示例不涉及），构建词典，编码转换，序列填充，构建数据管道等等。

在tensorflow中完成文本数据预处理的常用方案有两种，第一种是利用tf.keras.preprocessing中的Tokenizer词典构建工具和tf.keras.utils.Sequence构建文本数据生成器管道。

第二种是使用tf.data.Dataset搭配.keras.layers.experimental.preprocessing.TextVectorization预处理层。

第二种方法为TensorFlow原生方式，