提高卷积神经网络的准确性

Posted 2023-03-27

【中文标题】提高卷积神经网络的准确性

【英文标题】：Improve accuracy on convolutional neural network

【发布时间】：2016-08-02 06:42:38

【问题描述】：

我正在尝试训练卷积神经网络对句子进行分类。我从here获取代码

代码在我的一个数据集中运行良好。但是，在另一个数据集上，它的性能很差。两个数据集在数量和句子长度方面具有可比性。对于性能较差的数据集，我注意到损失函数在步骤之后会减小。这里蓝色用于训练集，读取用于测试集。

这是准确度： 如您所见，测试集上的损失值减少了，但准确度值几乎相同。 你能建议我如何解决它吗？ 非常感谢。

【问题讨论】：

您在每个数据集中有多少个类别标签，每个类别之间的文本性质有何不同？

@jmp 对于这两个数据集，类数都是 4。实际上，这两个数据集都是从 twitter 收集的推文。性能好的数据集是我自己通过twitter流API创建的，另一个来自网站。不同之处在于我不使用任何过滤器来消除来自自动机器人的推文，例如天气或招聘。对于来自网站的数据集，他们只保留普通人的推文。两个数据集具有几乎相同数量的示例，我应用了相同的预处理技术。

【参考方案1】：

您可以尝试使用较小的学习率吗？

【讨论】：

我当前使用的学习率是 1e-4 和 Adam 优化器。我用 1e-5 试过了，现在收敛速度很慢。

听起来不错。你可以把它做得更大一点，让它更快。请告诉我们进展如何。

【参考方案2】：

尝试使用指数衰减的学习率——一开始很大（比如 0.1），然后在迭代中变慢。