提高卷积神经网络的准确性

Posted

技术标签:

【中文标题】提高卷积神经网络的准确性【英文标题】:Improve accuracy on convolutional neural network 【发布时间】:2016-08-02 06:42:38 【问题描述】:

我正在尝试训练卷积神经网络对句子进行分类。我从here获取代码

代码在我的一个数据集中运行良好。但是,在另一个数据集上,它的性能很差。两个数据集在数量和句子长度方面具有可比性。对于性能较差的数据集,我注意到损失函数在步骤之后会减小。这里蓝色用于训练集,读取用于测试集。

这是准确度: 如您所见,测试集上的损失值减少了,但准确度值几乎相同。 你能建议我如何解决它吗? 非常感谢。

【问题讨论】:

您在每个数据集中有多少个类别标签,每个类别之间的文本性质有何不同? @jmp 对于这两个数据集,类数都是 4。实际上,这两个数据集都是从 twitter 收集的推文。性能好的数据集是我自己通过twitter流API创建的,另一个来自网站。不同之处在于我不使用任何过滤器来消除来自自动机器人的推文,例如天气或招聘。对于来自网站的数据集,他们只保留普通人的推文。两个数据集具有几乎相同数量的示例,我应用了相同的预处理技术。 【参考方案1】:

您可以尝试使用较小的学习率吗?

【讨论】:

我当前使用的学习率是 1e-4 和 Adam 优化器。我用 1e-5 试过了,现在收敛速度很慢。 听起来不错。你可以把它做得更大一点,让它更快。请告诉我们进展如何。【参考方案2】:

尝试使用指数衰减的学习率——一开始很大(比如 0.1),然后在迭代中变慢。

【讨论】:

以上是关于提高卷积神经网络的准确性的主要内容,如果未能解决你的问题,请参考以下文章

深度卷积神经网络各种改进结构块汇总

卷积神经网络VGG

卷积神经网络VGG

卷积神经网络的验证准确性

Neuromation新研究:利用卷积神经网络进行儿童骨龄评估

卷积网络图像分类特征提取部分调参技巧(pytorch)