Dlib 特征数组作为 CNN 和预测的输入

Posted 2023-03-16

【中文标题】Dlib 特征数组作为 CNN 和预测的输入

【英文标题】：Dlib feature arrays as input for CNN and prediction

【发布时间】：2019-10-18 18:39:07

【问题描述】：

我正在尝试使用 CNN 和 dlib 特征提取器创建人脸识别应用程序。我想做的是从同一个人的一堆照片中提取特征，然后将数组发送到我的 CNN，它将为那个人生成一个 2 类分类器。

如何将其更改为接受 dlib 特征数组、预测方法的外观以及数据应如何格式化？

到目前为止，我的网络已配置为将图像作为输入，但我不确定如何更改它以使用特征数组。

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

train_datagen = ImageDataGenerator(rescale=1. / 255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True)

test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(train_data_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='binary', shuffle=True)

print(train_generator.class_indices)

validation_generator = test_datagen.flow_from_directory(validation_data_dir, target_size=(img_width, img_height), batch_size=batch_size, class_mode='binary', shuffle=True)

print(validation_generator.class_indices)

model.fit_generator(train_generator, shuffle=True, steps_per_epoch=train_samples // batch_size, epochs=epochs, callbacks=[tensorboard], validation_data=validation_generator, validation_steps=validation_samples // batch_size)

model.save('Models/model.h5')

我希望这个工作的方式是使用一个程序，将每张照片中每个人脸的特征提取到一个文件中，我的 CNN 可以使用该文件来创建是/否分类器文件，以后可用于预测。

【问题讨论】：

您是否已经知道要使用什么架构？

@dcolazin 你这是什么意思？

【参考方案1】：

这是第一次尝试，肯定需要更多的工程。您可以将 CNN 的第一个卷积层视为“特征提取”层，将最后一个全连接层视为“分类”层。

import tensorflow as tf
import tensorflow.keras.layers as ll

i1 = ll.Input(input_shape1) #the images
x = ll.Conv2D(32, (3, 3),activation='relu')(i1)
x = ll.MaxPooling2D(pool_size=(2, 2))(x)
x = ll.Conv2D(32, (3, 3),activation='relu')(x)
x = ll.MaxPooling2D(pool_size=(2, 2))(x)
x = ll.Conv2D(64, (3, 3),activation='relu')(x)
x = ll.MaxPooling2D(pool_size=(2, 2))(x)

i2 = ll.Input(input_shape2) #the feature manually extracted

y = ll.Concatenate([x,i2])
y = ll.Flatten()(y)
y = ll.Dense(64,activation='relu')(y)
y = ll.Dropout(0.5)(y)
y = ll.Dense(1, activation='sigmoid')(y)

model = tf.keras.models.Model(inputs = [i1,i2], outputs = y)

然后像往常一样编译和适配，但您需要generator 来服务[i1,i2] 并替换ImageDataGenerator。如果您只想使用特征而不使用图像，那么架构会更简单：忘记卷积部分，只需尝试密集网络。