load_model 如何导入自定义的loss 函数
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了load_model 如何导入自定义的loss 函数相关的知识,希望对你有一定的参考价值。
参考技术A 训练一个lstm模型,然后保存为model.h5文件,之后load_model("model.h5") 出错,错误如下ValueError: Unknown loss function:root_mean_squared_error
原因:训练模型时的loss函数是自己定义的RMSE函数,如下:
def root_mean_squared_error(y_true, y_pred):
return K.sqrt(K.mean(K.square(y_pred - y_true), axis=-1))
def root_mean_squared_error(y_true, y_pred):
return K.sqrt(K.mean(K.square(y_pred - y_true)))
模型编译如下:
model.compile(optimizer = "rmsprop", loss = root_mean_squared_error, metrics =["accuracy"])
经过网上查找,找到一个快速并且有效的解决办法,在这里和大家分享,希望可以帮助小伙伴,解决同样的issue
需要再将root_mean_squared_error定义一遍,就是再写一遍(如何在你的script中已经存在root_mean_squared_error函数,就不需要重新定义了。我是写了两个scripts,一个用于模型训练,一个用于模型应用new data进行regression)
def root_mean_squared_error(y_true, y_pred):
return K.sqrt(K.mean(K.square(y_pred - y_true)))
然后在load_model中加入一个参数custom_objects如下:
model = load_model('model.h5', custom_objects='root_mean_squared_error': root_mean_squared_error)
带有自定义对象的 Keras load_model 无法正常工作
【中文标题】带有自定义对象的 Keras load_model 无法正常工作【英文标题】:Keras load_model with custom objects doesn't work properly 【发布时间】:2019-08-08 21:46:45 【问题描述】:设置
正如标题中已经提到的,在尝试加载保存的模型时,我的自定义损失函数出现了问题。我的损失如下:
def weighted_cross_entropy(weights):
weights = K.variable(weights)
def loss(y_true, y_pred):
y_pred = K.clip(y_pred, K.epsilon(), 1-K.epsilon())
loss = y_true * K.log(y_pred) * weights
loss = -K.sum(loss, -1)
return loss
return loss
weighted_loss = weighted_cross_entropy([0.1,0.9])
所以在训练期间,我使用了weighted_loss
函数作为损失函数,一切运行良好。训练完成后,我使用 keras API 中的标准 model.save
函数将模型保存为 .h5
file。
问题
当我尝试通过加载模型时
model = load_model(path,custom_objects="weighted_loss":weighted_loss)
我收到ValueError
告诉我损失未知。
错误
错误信息如下:
File "...\predict.py", line 29, in my_script
"weighted_loss": weighted_loss)
File "...\Continuum\anaconda3\envs\processing\lib\site-packages\keras\engine\saving.py", line 419, in load_model
model = _deserialize_model(f, custom_objects, compile)
File "...\Continuum\anaconda3\envs\processing\lib\site-packages\keras\engine\saving.py", line 312, in _deserialize_model
sample_weight_mode=sample_weight_mode)
File "...\Continuum\anaconda3\envs\processing\lib\site-packages\keras\engine\training.py", line 139, in compile
loss_function = losses.get(loss)
File "...\Continuum\anaconda3\envs\processing\lib\site-packages\keras\losses.py", line 133, in get
return deserialize(identifier)
File "...\Continuum\anaconda3\envs\processing\lib\site-packages\keras\losses.py", line 114, in deserialize
printable_module_name='loss function')
File "...\Continuum\anaconda3\envs\processing\lib\site-packages\keras\utils\generic_utils.py", line 165, in deserialize_keras_object
':' + function_name)
ValueError: Unknown loss function:loss
问题
我该如何解决这个问题?这可能是我的包装损失定义的原因吗?所以keras
不知道,weights
这个变量怎么处理?
【问题讨论】:
能否请您包含完整的错误日志/堆栈跟踪? 当然。我添加了完整的消息。 【参考方案1】:您的损失函数的名称是loss
(即def loss(y_true, y_pred):
)。因此,在加载模型时,您需要指定 'loss'
作为其名称:
model = load_model(path, custom_objects='loss': weighted_loss)
【讨论】:
以上是关于load_model 如何导入自定义的loss 函数的主要内容,如果未能解决你的问题,请参考以下文章
带有自定义对象的 Keras load_model 无法正常工作