如何将多线程应用于反向传播神经网络训练？

Posted 2023-03-12

【中文标题】如何将多线程应用于反向传播神经网络训练？

【英文标题】：How can I apply multithreading to the backpropagation neural network training?

【发布时间】：2010-12-22 06:26:33

【问题描述】：

对于我的大学项目，我正在创建一个神经网络，可以对信用卡交易是否存在欺诈的可能性进行分类。我正在训练反向传播。我正在用 Java 写这个。我想应用多线程，因为我的电脑是四核 i7。花几个小时训练并看到我的大部分核心都处于空闲状态，这让我很烦恼。

但是如何将多线程应用于反向传播？反向传播通过网络向后调整错误来工作。必须先完成一层，然后才能继续另一层。有什么办法可以修改我的程序来做多核背景？

【参考方案1】：

首先不要使用反向传播。还有很多其他的选择。我建议尝试 RPROP（弹性传播）。对您的反向传播算法的修改不会那么大。您不需要指定学习率或动量。几乎就好像你对神经网络中的每个连接都有一个单独的、可变的学习率。

关于将多线程应用于反向传播。我刚刚写了一篇关于这个主题的文章。

http://www.heatonresearch.com/encog/mprop/compare.html

基本上，我会创建多个线程并划分训练数据，因此每个线程的数量几乎相等。我正在计算每个线程中的梯度，并在减少步骤中对它们求和。梯度如何应用于权重取决于所使用的传播训练算法，但权重更新是在关键部分完成的。

当您的训练样本比权重多得多时，代码在多线程梯度计算上花费的时间比临界区权重更新要多得多。

我在上面的链接中提供了一些性能结果。它确实加快了速度！

【讨论】：

如何合并权重？这里的“合并”是什么意思，你把它们都加起来？

权重未合并。我正在计算每个线程中的梯度，并在减少步骤中对它们求和。梯度如何应用于权重取决于所使用的传播训练算法，但权重更新是在关键部分完成的。当训练样本比权重多得多时，代码在多线程梯度计算上花费的时间比临界区权重更新要多得多。

您的链接提供“找不到页面”。

临界区对我来说是一个真正的症结所在，我确实可以非常快地进行批次的梯度计算，但是计算和应用更新花费了过多的时间。

nvm 通过重构我的代码来改进它，将我能做的所有东西移到临界区之外。在我能够优化的每批之前加载我的训练示例也有开销。

【参考方案2】：

要在 Java 中使用更多 CPU 内核，您可以在不更改代码的情况下尝试更多 JVM 选项：

-服务器 -d64 -XX:-UseParallelGC

http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp 的其他选项

【讨论】：

这些选项可以加快执行速度，但它们不会让你的算法并行...如果你想使用多个内核来执行一个算法，你将不得不修改它。

是的。明显地。当您在 Java 中尝试任何并行操作时，此选项只是最低要求。