网格搜索适合不接受张量列表

Posted 2023-02-23

【中文标题】网格搜索适合不接受张量列表

【英文标题】：Grid Search fit not accepting list of tensors

【发布时间】：2020-10-12 02:34:24

【问题描述】：

我有一个连体网络，我想使用 GridSearchCV 对其执行网格搜索。

所以我使用以下函数创建了一个模型：

def createMod(learn_rate=0.01, optimizer='Adam'):
#K.clear_session()
# network definition
base_network = create_base_network(input_shape)

input_a = Input(shape=input_shape)
input_b = Input(shape=input_shape)

# because we re-use the same instance `base_network`,
# the weights of the network will be shared across the two branches
processed_a = base_network(input_a)
processed_b = base_network(input_b)

distance = Lambda(euclidean_distance,
                  output_shape=eucl_dist_output_shape)([processed_a, processed_b])

prediction = Dense(1,activation='sigmoid')(distance)

model = Model([input_a, input_b], prediction)

if(optimizer=='SGD'):
    opt = SGD(lr=learn_rate)
elif (optimizer=='RMSprop'):
    opt = RMSprop(lr=learn_rate)
else:
    opt = Adam(lr=learn_rate)


model.compile(loss='binary_crossentropy', optimizer=opt, metrics=[accuracy])

return model

然后我创建 KerasClassifier 和 GridSearch，如下所示：

model = KerasClassifier(build_fn=createMod, verbose=0)
param_grid = dict(epochs=epochs, batch_size=batch_size, learn_rate=learn_rate,optimizer=optimizer)
grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=-1, cv=5)
X = [tr_pairs[:, 0], tr_pairs[:, 1]]
grid_result = grid.fit(X, tr_y)

但是这会引发以下值错误：

ValueError: 发现样本数量不一致的输入变量：[2, 1054]

tr_pairs[:, 0]和tr_pairs[:, 1]的形状是(1054, 6)，tr_y是(1054,)

基础网络的代码是：

def create_base_network(input_shape):
    K.clear_session()
    encoder = build_encoder(latent_dim, n_in)
    decoder = build_decoder(latent_dim, n_in)

    item = Input(shape=(n_in, ))
    encoded_repr = encoder(item)
    reconstructed_item = decoder(encoded_repr)

    autoencoder = Model(item, reconstructed_item)
    
    return autoencoder

编码器和解码器的代码是：

def build_encoder(latent_dim, input_dim):
    input_layer = Input(shape=(input_dim, ))
    h = Dense(32, activation='relu', activity_regularizer=regularizers.l1(10e-5))(input_layer)
    h = Dropout(0.1)(h)
    h = Dense(64, activation='relu')(h)
    h = Dropout(0.1)(h)
#     h = Dense(128, activation='relu')(h)
#     h = Dropout(0.1)(h)
    latent_repr = Dense(latent_dim, activation='relu')(h)
    return Model(input_layer, latent_repr)

def build_decoder(latent_dim, input_dim):
    model = Sequential()
#     model.add(Dense(128, input_dim=latent_dim, activation='relu'))
#     model.add(Dropout(0.1))
    model.add(Dense(64, activation='relu'))
    model.add(Dropout(0.1))
    model.add(Dense(32, activation='relu'))
    model.add(Dropout(0.1))
    model.add(Dense(input_dim, activation='relu'))
    z = Input(shape=(latent_dim,))
    item = model(z)
    return Model(z, item)

当我执行正常的 keras 模型的 .fit 函数时，代码可以工作，但在这里不起作用。我的代码中是否存在问题，或者只是无法在网格搜索中提供多个输入，如果是这样的话有没有办法我仍然可以执行网格搜索？

【问题讨论】：

如果 tr_pairs[:,1] 和 tr_pairs[:, 0] 是 (1054, 6) 这意味着整个 tr_pairs 是 (1054, 2, 6)，对吗？

@MarcoCerliani Yepp tr_pairs 是 (1054, 2, 6)

【参考方案1】：

这是传递多个输入的解决方法。我创建了一个虚拟模型，它接收格式为 (n_sample, 2, 6) 的 SINGLE 输入，然后使用 Lambda 层将其分成两部分。你可以根据你的连体结构修改这个。

def createMod(optimizer='Adam'):
    
    combi_input = Input((2,6)) # (n_sample, 2, 6)
    input_a = Lambda(lambda x: x[:,0])(combi_input) # (n_sample, 6)
    input_b = Lambda(lambda x: x[:,1])(combi_input) # (n_sample, 6)

    c = Concatenate()([input_a,input_b])
    x = Dense(32)(c)

    prediction = Dense(1,activation='sigmoid')(x)
    model = Model(combi_input, prediction)

    model.compile(loss='binary_crossentropy', optimizer=optimizer, metrics='accuracy')

    return model

tr_pairs = np.random.uniform(0,1, (1054, 2, 6))
tr_y = np.random.randint(0,2, 1054)

model = tf.keras.wrappers.scikit_learn.KerasClassifier(build_fn=createMod, verbose=0)
batch_size = [10, 20]
epochs = [10, 5]
optimizer = ['adam','SGD']
param_grid = dict(batch_size=batch_size, epochs=epochs)
grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=-1, cv=3)
grid_result = grid.fit(tr_pairs, tr_y)