机器学习常见的挑战有哪些?
Posted Data+Science+Insight
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习常见的挑战有哪些?相关的知识,希望对你有一定的参考价值。
机器学习常见的挑战有哪些?
从大的类别上来讲,机器学习遇到的两个比较大的挑战是:
1,收集的数据不具有代表性;
2,选择了和数据集合不匹配的学习算法;
从细分的类别上来讲具体是:
1,数据集太小,训练样本有限;
大部分的机器学习算法需要大量或者足够多的数据才能进行有效的学习,即使是很多非常简单的问题也需要成百上千甚至上万级别的数据来进行支撑;在复杂问题,例如,智能语音、问答系统等系统中,如果你无法找到有效的迁移学习模型,那么可能甚至得千万级别的数据去进行模型的训练学习;
2,收集到的数据不具有代表性;
训练数据一定要具有代表性,无论你使用的是基于实例的学习还是基于模型的学习模型。使用不具代表性的数据集训练出来的模型都不可能做出可靠的预测和推理。针对你的当前问题,选择具有泛化特性最强的训练数据集是至关重要的。不过数据具有代表性这个事情知易行难,如果数据集的样本量太少,将会出现采样噪声(代表性不强的数据被选中),
以上是关于机器学习常见的挑战有哪些?的主要内容,如果未能解决你的问题,请参考以下文章