浅谈数据分析与数据挖掘的异同

Posted 2021-04-27 boykings的小天地

         近两年，随着大数据、人工智能等概念的流行，与数据相关的岗位在人才市场是越来越紧俏，包括了数据分析员、数据分析师、数据挖掘工程师等各种头衔，我个人从事数据分析类工作有几年工作经验，对数据分析、数据挖掘工作也有浅显的认识，接下来主要介绍我对数据分析、数据挖掘两个岗位的认识。

数据分析可以说是一个外延很大的概念，从一般的数据报表整理、制作，到对数据进行描述性分析，再根据历史数据对未来趋势做出预测等都可以看成是数据分析的一个部分，从大的概念来说，数据分析是包括数据挖掘。从狭义的概念来说，数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概况总结的过程。一般可将数据分析分为描述性数据分析、探索性数据分析、验证性数据分析。像制作报表，日报、周报、月报可以归为描述性数据分析，是数据分析岗位最基础的工作。

数据挖掘是指从海量的数据中发现有价值的信息，等同于另一个术语数据中的知识发现（KDD，knowledge data discover），即数据挖掘是从大量数据中挖掘有趣模式和知识的过程，主要包括四大类：分类、聚类、关联、预测。不论是数据分析还是数据挖掘，本质都是要从数据里面发现业务知识，数据挖掘可以认为是一种更高级的数据分析方法。

前面介绍了数据分析与数据挖掘的定义，数据分析一般涉及的数据量是在百万以内，主要使用的分析工具是Excel，如果是超过百万，就要用到sql，数据挖掘所涉及的数据量一般是在百万级别以上，要用到更多专业统计软件，如SPSS、SAS、Matlab等，也包括现在最热门的R、Python。

讲完工具，再看看两者与业务的紧密度，作为数据分析师，需要对业务有更深入的认识和了解，对于技术方面的要求，相比数据挖掘工程师，是低一些；而作为数据挖掘工程师，对技术、对程序语言是有更高要求的，当然对业务肯定也要有一定了解。

从职业发展路径来看，数据分析师如果与业务结合紧密，可以成为资深业务专家，而数据挖掘工程师对技术、对算法掌握娴熟，可以往算法工程师方向发展，当然往业务方向发展也是一种选择。同样，作为数据分析师，也可以往数据挖掘方向发展。

最后再讲下薪酬方面，同等条件下，即工作年限、学历、地域等，数据挖掘岗位薪酬是要高于数据分析岗位的，毕竟前者对工作技能的要求更高。

以上是本人关于数据分析、数据挖掘岗位一些粗浅的看法，个人工作经验有限，仍然在不断学习、积累中，对数据挖掘方面的工作谈不上更深入的见解，至于更前沿的深度学习、机器学习、人工智能更是门外汉一个。

去年丁亚军老师在上课的时候经常讲一句话，数据分析是一项有趣的工作，对于老师的这句话，还需要慢慢领悟。