Keras 的 predict_generator 未返回正确数量的样本

Posted 2023-02-23

【中文标题】Keras 的 predict_generator 未返回正确数量的样本

【英文标题】：Keras' predict_generator not returning correct number of samples

【发布时间】：2018-07-11 02:15:14

【问题描述】：

我正在尝试实现一个自定义数据生成器，它使用pandas.read_csv 以块的形式从 csv 文件中读取数据。我使用model.predict_generator 对其进行了测试，但返回的预测数量少于预期（在我的情况下，253457 中有 248192）。

自定义生成器

class TestDataGenerator:

def __init__(self, directory, batch_size=1024):
    self.directory = directory
    self.batch_size = batch_size
    self.chunk_size=10000
    self.samples = 0

def _to_movie_id(self, ids):
    ids = ast.literal_eval(ids)
    if ids == []:
        return [EMB_MATRIX_SIZE-1]
    else:
        return [movie2idx[str(movie_id)] for movie_id in ids]

def generate(self):
    csv_files = glob.glob(self.directory + '/*.csv')
    while True:
        for file in csv_files:
            df = pd.read_csv(file, chunksize=self.chunk_size)
            for df_chunk in df:
                chunk_steps = math.ceil(len(df_chunk) / self.batch_size)
                for i in range(chunk_steps):
                    batch = df_chunk[i * self.batch_size:(i + 1) * self.batch_size]
                    X_batch, y_batch = self.preprocess(batch)
                    self.samples += len(batch)
                    yield X_batch, y_batch


def preprocess(self, df):
    X_user = df['user'].apply(lambda x: user2idx[str(x)]).values
    X_watched = df['watched'].apply(self._to_movie_id).values
    X_watched_padded = pad_sequences(X_watched, maxlen=SEQ_LENGTH, value=0)

    ohe = df['movie'].apply(lambda x: to_categorical(movie2idx[x], num_classes=len(movie2idx)))
    X = [X_user, X_watched_padded]
    y = np.array([o.tolist() for o in ohe])

    return X, y

运行model.predict_generator

batch_size=1024
n_samples_test = 253457
test_dir = 'folder/'
test_gen = TestDataGenerator(test_dir, batch_size=batch_size)
next_test_gen = test_gen.generate()
preds = model.predict_generator(next_test_gen, steps=math.ceil(n_samples_test/batch_size))

运行model.predict_generator 后，preds 的行数为248192，小于实际的253457。看起来它缺少几个时代。我还单独测试了generate 而没有与 Keras 交互，它的行为与预期的一样，在 csv 文件中返回了正确数量的样本。此外，在generate 产生值之前，我会跟踪使用samples 处理的样本数量。令人惊讶的是，samples 的值是 250000。所以，我很确定我可能对 Keras 做了一些事情。

请注意，我还尝试设置max_queue_size=1，并使generate 线程安全，但没有成功。为了简单起见，我只在test_dir 下放置了 1 个 csv 文件。我正在使用嵌入在 Tensorflow 1.5.0 中的 Keras 2.1.2-tf。

我对如何做到这一点进行了一些研究，但还没有遇到有用的示例。这个实现有什么问题？

谢谢

Peeranat F.

【问题讨论】：

只是出于好奇 - 你能检查一下 preds[::1024] 向量的样子吗？

【参考方案1】：

嗯，这很棘手。那么让我们深入研究这个问题：

当提供的批次小于batch_size 时fit_generator 如何工作：如您所见 - 您提供给fit_generator 的许多批次的大小都小于batch_size。每次从每个文件中获取最后一批时都会发生这种情况。通常 - 许多文本不能被批量大小整除，因此没有足够的文本来填充批量。这最终会导致向模型提供的示例更少。

这是一个棘手的部分 - keras 忽略较小的大小，将其视为有效的生成器步骤并返回不完整批次的值。

那么为什么缺少文本：让我通过示例向您展示。假设您有 2 个文件，每个文件有 5 个文本，而您的 batch_size 是 4。这就是您的批次的样子：

[1t1, 1t2, 1t3, 1t4], [1t5,], [2t1, 2t2, 2t3, 2t4], [2t5].

如您所见 - 实际所需的步数等于 4 不等于 3 通过采取：math.ceil(10 / 4)。这种方式适用于这些批次：

[1t1, 1t2, 1t3, 1t4], [1t5, 2t1, 2t2, 2t3], [2t4, 2t5]

但是从你的生成器返回的批次不是这样的。

如何解决这个问题？ - 你需要让你的生成器计算实际所需的步骤数：

def steps_needed(self):
    steps = 0
    csv_files = glob.glob(self.directory + '/*.csv')
    for file in csv_files:
    df = pd.read_csv(file, chunksize=self.chunk_size)
    for df_chunk in df:
        chunk_steps = math.ceil(len(df_chunk) / self.batch_size)
        steps += chunk_steps
    return steps

此函数准确计算您的生成器将返回多少批次。

干杯:)

【讨论】：

很好的解释和例子。我解决了这个问题。非常感谢:)