ZH奶酪如何用textgenrnn处理中文

Posted 2020-12-24 cheesezh

如何用textgenrnn处理中文

1. 什么是textgenrnn?

textgenrnn是建立在Keras和TensorFlow之上的，可用于生成字级别和词级别文本。网络体系结构使用注意力加权来加速训练过程并提高质量，并允许调整大量超参数，如RNN模型大小、RNN层和双向RNN。对细节感兴趣的读者，可以在Github上或类似的介绍博客文章中阅读有关textgenrnn及其功能和体系结构的更多信息。

Github项目地址: https://github.com/minimaxir/textgenrnn

介绍博客(英文原版): Generating Text with RNNs in 4 Lines of Code

介绍博客(中文简译): 仅用四行代码实现RNN文本生成模型

该Github项目的README以及各介绍博客中，都是基于英文文本进行处理的，少有文章介绍如何将textgenrnn应用到中文文本，所以我fork了原项目并添加了中文数据的训练与测试Demo，详见: https://github.com/cheesezh/textgenrnn。

2. 如何用textgenrnn处理中文?

2.1. 准备中文数据

本文采用2600首与春相关的五言诗作为训练数据。部分数据示例：

春眠不觉晓，处处闻啼鸟。夜来风雨声，花落知多少。
慈母手中线，游子身上衣。谁言寸草心，报得三春晖。
好雨知时节，当春乃发生。晓看红湿处，花重锦官城。
红豆生南国，春来发几枝。愿君多采撷，此物最相思。
国破山河在，城春草木深。白头搔更短，浑欲不胜簪。

可以在我的Github上边下载本文实验数据：与“春”相关的五言诗，与“春”相关的七言诗

2.2. 训练模型

from textgenrnn import textgenrnn
textgen = textgenrnn(name="my.poem")                   # 给模型起个名字，比如`my.poem`, 之后生成的模型文件都会以这个名字为前缀
textgen.reset()                                         # 重置模型
textgen.train_from_file(                                # 从数据文件训练模型
    file_path = '../datasets/cn/5_chars_poem_2600.txt',  # 文件路径
    new_model = True,                                   # 训练新模型
    num_epochs = 30,                                    # 训练轮数
    word_level = False,                                 # True:词级别，False:字级别
    rnn_bidirectional = True,                           # 是否使用Bi-LSTM
    max_length = 25,                                    # 一条数据的最大长度
)

还有其他的模型参数可以配置，主要包括以下几项：

config = {
        'rnn_layers': 2,
        'rnn_size': 128,
        'rnn_bidirectional': False,
        'max_length': 15,
        'max_words': 10000,
        'dim_embeddings': 100,
        'word_level': False,
        'single_text': False
    }

2.3. 生成数据

from textgenrnn import textgenrnn

textgen = textgenrnn(
  name="poem",
  weights_path='./poem_weights.hdf5',
  config_path='./poem_config.json',
  vocab_path='./poem_vocab.json'
)
textgen.generate(20, temperature=1.0)

生成数据样例:

傍海皆荒服，分符重汉臣。连年不见雪，到处即行春。

上喜老闲身，春来不得迷。章闲闲异意，亦随到情诗。

湖上花开尽，初度莫愁春。俗书百胜境，无哲老离秋。

三月小春来，闲人惊物华。且问听下意，多事翦彩光。

居春心在别，多是梅庭空。水梅人一梦，愁。场言诚微。成手。

南国无多雪，江春别离肠。非离菘楼畔，不殊问来花。

田家春事起，丁壮就东坡。予意在耕稼，因君问土宜。

春偏当春日，当桥如草心。如如如青我，当人有思生。

早春遥闻好，风晚景和。放诗此东方来，惟是日有情。

閒花淡心事，不作柳春枝。幸见散花里，何声满尔闻。

傍海皆荒服，分符重汉臣。连年不见雪，到处即行春。

子知千里，何年草旧居。遥知春还后日，何处二三难。

从生成的五言诗数据来看，大部分诗看上去还是比较正常的，但是也有一些不合理的数据，比如：

居春心在别，多是梅庭空。水梅人一梦，愁。场言诚微。成手。

子知千里，何年草旧居。遥知春还后日，何处二三难。

春偏当春日，当桥如草心。如如如青我，当人有思生。