Python图像特征的音乐序列生成关于小样本的一些思考

Posted 2020-09-27

我之前就注意到，深度学习和音乐结合，尤其是从乐理出发进行结合（而不是纯粹的进行音乐生成），是一个尚未被深度挖掘的全新领域。可想而知，这个方向符合我要求的数据肯定是要自己搜集了。

自己搜集的数据，在量上就已经输了，只是考虑到我们要做的任务并不复杂，准确的说只是一个分类器，再加一个LSTM而已。对于这个分类器，甚至不需要用卷积神经网络，可以使用一些其他的网络；而LSTM的样本本来就蕴含了很明确的规律，变化并不是很大。

那么我们就要开始思考，除了一些常规的训练方法，还有什么训练适合小样本数据吗？

1、数据扩增技术，例如图片的亮度改变、加噪声、翻转、随机裁切、缩放等制造出大量样本。

2、有人使用游戏来训练，例如使用GTA里面的场景来学习自动驾驶，当然这不属于严格的小样本。

3、使用生成模型，例如GAN来生成大量接近真实的样本来训练。苹果的第一篇AI论文simGAN就是这么做的。

4、经典的特征提取算法，再使用SVM等浅层网络来训练，需要的数据量就没有那么多。

来源：知乎

这几个思路都算还行，当然还有其他的思路。

5，贝叶斯规划学习（Bayesian Program Learning，BPL）

以及：

6，利用先验知识。

 

对于1，这是一个可行的办法，只是我们使用的数据集只是网络图片，处理网络图片比处理本地图片要困难。

对于2，这个不适合我们的问题。

对于3，问题同1.

对于4，这是一个很好的解决办法，我们实际上就是使用了一种广义的特征提取算法（提取了实体，再进行向量化）

对于5，看起来是一个很高深的知识……我现在还不是很懂。

对于6，这个同样不是很懂，得问一下师兄师姐才能得到答案。

 

 

我个人觉得，对于抽象了图片特征，转化成向量，这样就已经降低了对样本集本身的要求。对于网络结构的改进，我期望能尽量避免over-fitting。