如何将多线程应用于反向传播神经网络训练?

Posted

技术标签:

【中文标题】如何将多线程应用于反向传播神经网络训练?【英文标题】:How can I apply multithreading to the backpropagation neural network training? 【发布时间】:2010-12-22 06:26:33 【问题描述】:

对于我的大学项目,我正在创建一个神经网络,可以对信用卡交易是否存在欺诈的可能性进行分类。我正在训练反向传播。我正在用 Java 写这个。我想应用多线程,因为我的电脑是四核 i7。花几个小时训练并看到我的大部分核心都处于空闲状态,这让我很烦恼。

但是如何将多线程应用于反向传播?反向传播通过网络向后调整错误来工作。必须先完成一层,然后才能继续另一层。有什么办法可以修改我的程序来做多核背景?

【问题讨论】:

【参考方案1】:

首先不要使用反向传播。还有很多其他的选择。我建议尝试 RPROP(弹性传播)。对您的反向传播算法的修改不会那么大。您不需要指定学习率或动量。几乎就好像你对神经网络中的每个连接都有一个单独的、可变的学习率。

关于将多线程应用于反向传播。我刚刚写了一篇关于这个主题的文章。

http://www.heatonresearch.com/encog/mprop/compare.html

基本上,我会创建多个线程并划分训练数据,因此每个线程的数量几乎相等。我正在计算每个线程中的梯度,并在减少步骤中对它们求和。梯度如何应用于权重取决于所使用的传播训练算法,但权重更新是在关键部分完成的。

当您的训练样本比权重多得多时,代码在多线程梯度计算上花费的时间比临界区权重更新要多得多。

我在上面的链接中提供了一些性能结果。它确实加快了速度!

【讨论】:

如何合并权重?这里的“合并”是什么意思,你把它们都加起来? 权重未合并。我正在计算每个线程中的梯度,并在减少步骤中对它们求和。梯度如何应用于权重取决于所使用的传播训练算法,但权重更新是在关键部分完成的。当训练样本比权重多得多时,代码在多线程梯度计算上花费的时间比临界区权重更新要多得多。 您的链接提供“找不到页面”。 临界区对我来说是一个真正的症结所在,我确实可以非常快地进行批次的梯度计算,但是计算和应用更新花费了过多的时间。 nvm 通过重构我的代码来改进它,将我能做的所有东西移到临界区之外。在我能够优化的每批之前加载我的训练示例也有开销。【参考方案2】:

要在 Java 中使用更多 CPU 内核,您可以在不更改代码的情况下尝试更多 JVM 选项:

-服务器 -d64 -XX:-UseParallelGC

http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp 的其他选项

【讨论】:

这些选项可以加快执行速度,但它们不会让你的算法并行...如果你想使用多个内核来执行一个算法,你将不得不修改它。 是的。明显地。当您在 Java 中尝试任何并行操作时,此选项只是最低要求。

以上是关于如何将多线程应用于反向传播神经网络训练?的主要内容,如果未能解决你的问题,请参考以下文章

什么是反向传播

反向传播算法

如何通过反向传播训练卷积神经网络中的过滤器?

反向传播训练算法如何工作?

如何理解CNN神经网络里的反向传播backpropagation,bp算法

神经网络反向传播算法卡在 XOR 训练模式上