减小 Keras LSTM 模型的大小
Posted
技术标签:
【中文标题】减小 Keras LSTM 模型的大小【英文标题】:Reduce the size of Keras LSTM model 【发布时间】:2018-10-16 20:21:11 【问题描述】:本质上,我正在使用 Keras 训练一个 LSTM 模型,但是当我保存它时,它的大小高达 100MB。但是,我的模型的目的是部署到 Web 服务器以用作 API,我的 Web 服务器无法运行它,因为模型太大。在分析了模型中的所有参数后,我发现我的模型有 20,000,000
参数,但 15,000,000
参数是未经训练的,因为它们是词嵌入。有什么方法可以通过删除15,000,000
参数来最小化模型的大小,但仍然保留模型的性能?
这是我的模型代码:
def LSTModel(input_shape, word_to_vec_map, word_to_index):
sentence_indices = Input(input_shape, dtype="int32")
embedding_layer = pretrained_embedding_layer(word_to_vec_map, word_to_index)
embeddings = embedding_layer(sentence_indices)
X = LSTM(256, return_sequences=True)(embeddings)
X = Dropout(0.5)(X)
X = LSTM(256, return_sequences=False)(X)
X = Dropout(0.5)(X)
X = Dense(NUM_OF_LABELS)(X)
X = Activation("softmax")(X)
model = Model(inputs=sentence_indices, outputs=X)
return model
【问题讨论】:
除此之外,我建议您也将其发布到 Keras 的 Slack 组。它是一个专用于 Slack 的大型网络(并不意味着在这里找不到答案,但在那里发帖也没有坏处)。 哇,我什至没有意识到它的存在。谢谢你 欢迎您!请加入:kerasteam.slack.com 【参考方案1】:定义要在函数外部保存的图层并命名。然后创建两个函数foo()
和bar()
。 foo()
将拥有包括嵌入层在内的原始管道。 bar()
将只有嵌入层之后的管道部分。相反,您将在 bar()
中使用嵌入的维度定义新的 Input()
层:
lstm1 = LSTM(256, return_sequences=True, name='lstm1')
lstm2 = LSTM(256, return_sequences=False, name='lstm2')
dense = Dense(NUM_OF_LABELS, name='Susie Dense')
def foo(...):
sentence_indices = Input(input_shape, dtype="int32")
embedding_layer = pretrained_embedding_layer(word_to_vec_map, word_to_index)
embeddings = embedding_layer(sentence_indices)
X = lstm1(embeddings)
X = Dropout(0.5)(X)
X = lstm2(X)
X = Dropout(0.5)(X)
X = dense(X)
X = Activation("softmax")(X)
return Model(inputs=sentence_indices, outputs=X)
def bar(...):
embeddings = Input(embedding_shape, dtype="float32")
X = lstm1(embeddings)
X = Dropout(0.5)(X)
X = lstm2(X)
X = Dropout(0.5)(X)
X = dense(X)
X = Activation("softmax")(X)
return Model(inputs=sentence_indices, outputs=X)
foo_model = foo(...)
bar_model = bar(...)
foo_model.fit(...)
bar_model.save_weights(...)
现在,您将训练原始 foo()
模型。然后你可以保存减少的bar()
模型的权重。加载模型时,别忘了指定by_name=True
参数:
foo_model.load_weights('bar_model.h5', by_name=True)
【讨论】:
如果我们训练了foo(...)
,bar_model.save_weights(...)
将如何保存训练后的权重?只是想理解。
@manic.coder lstm1、lstm2 和dense 层是在函数外部创建的,然后在两个函数中简单地重用。有效地共享权重。因此,通过训练 foo_model 对权重所做的更改会自动反映在 bar_model 中。以上是关于减小 Keras LSTM 模型的大小的主要内容,如果未能解决你的问题,请参考以下文章
为啥用于预测的 Keras LSTM 批量大小必须与拟合批量大小相同?
如何在 Keras 中组合两个具有不同输入大小的 LSTM 层?