如何使用 AdaBoost 增强基于 Keras 的神经网络？

Posted 2023-03-12

【中文标题】如何使用 AdaBoost 增强基于 Keras 的神经网络？

【英文标题】：How to boost a Keras based neural network using AdaBoost?

【发布时间】：2016-12-28 01:39:15

【问题描述】：

假设我适合以下神经网络来解决二元分类问题：

model = Sequential()
model.add(Dense(21, input_dim=19, init='uniform', activation='relu'))
model.add(Dense(80, init='uniform', activation='relu'))
model.add(Dense(80, init='uniform', activation='relu'))
model.add(Dense(1, init='uniform', activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(x2, training_target, nb_epoch=10, batch_size=32, verbose=0,validation_split=0.1, shuffle=True,callbacks=[hist])

如何使用 AdaBoost 增强神经网络？ keras 有这方面的命令吗？

【参考方案1】：

Keras 本身并没有实现 adaboost。但是，Keras 模型与 scikit-learn 兼容，因此您可能可以从那里使用AdaBoostClassifier：link。编译后使用model 作为base_estimator，并使用fit AdaBoostClassifier 实例而不是model。

但是，这样一来，您将无法使用传递给 fit 的参数，例如 epoch 数或 batch_size，因此将使用默认值。如果默认值不够好，您可能需要构建自己的类，在模型之上实现 scikit-learn 接口并将适当的参数传递给fit。

【讨论】：

您好，谢谢您的回答。当我插入：bdt = AdaBoostClassifier(base_estimator=model)bdt.fit(x2, training_target) 其中模型是我编译的 keras 网络时，它给了我错误：TypeError: Cannot clone object '' (type )：它似乎不是 scikit-learn 估计器，因为它没有实现“get_params”方法。

显然，keras 分类器本身与 scikit-learn 不兼容。有关如何使它们一起工作的详细信息，请参阅本文：keras.io/scikit-learn-api

【参考方案2】：

显然，神经网络与 sklearn Adaboost 不兼容，见https://github.com/scikit-learn/scikit-learn/issues/1752

【讨论】：

欢迎来到 Stack Overflow！这是一个边界link-only answer。您应该在此处扩展您的答案以包含尽可能多的信息，并使用该链接仅供参考。

【参考方案3】：

这可以通过以下方式完成： 首先创建一个模型（为了重现性，将其作为一个函数）：

def simple_model():                                           
    # create model
    model = Sequential()
    model.add(Dense(25, input_dim=x_train.shape[1], kernel_initializer='normal', activation='relu'))
    model.add(Dropout(0.2, input_shape=(x_train.shape[1],)))
    model.add(Dense(10, kernel_initializer='normal', activation='relu'))
    model.add(Dense(1, kernel_initializer='normal'))
    # Compile model
    model.compile(loss='mean_squared_error', optimizer='adam')
    return model

然后将其放入 sklearn 包装器中：

ann_estimator = KerasRegressor(build_fn= simple_model, epochs=100, batch_size=10, verbose=0)

然后最终提升它：

boosted_ann = AdaBoostRegressor(base_estimator= ann_estimator)
boosted_ann.fit(rescaledX, y_train.values.ravel())# scale your training data 
boosted_ann.predict(rescaledX_Test)

【讨论】：

你将如何重新调整数据？

我们可以将 keras 数据生成器传递给 SkLearn 包装器吗？