对大数据知识架构的梳理

Posted 2020-08-03

     近期交接了前期的大数据项目，对之前的项目内容做一个总结。也算是梳理一下项目的架构，对前期也算是一个总结，为后期的学习打下一个基础。

清理数据

     对传统行业来说，上来就说要搞大数据，一般都会是一种噱头，因为之前的数据量不会很大，所以基本上都是一些统计分析内容为主。在这一阶段，你对数据理解就尤为重要！这里边牵扯到的知识有数据清理，相关的ETL技术。也就是说你要做数据分析，数据在哪里很是重要，当你不清楚你的数据的位置的时候，你的分析也就无所谈起。而原始数据里边一定会有许多的问题。而此时，你的清理过程就是要深入了解原始数据。为什么说一个好的数据分析人员一定是一个好的业务人员，这点也尤为重要。因为只有你对数据更为了解的时候，你才能更好的补全，替代。说和通俗一点，就是你要将原始的数据转换成PC能读懂的数据。

    这里也有一个4：3：3的原则，你原始的数据要从测试，训练，验证这三个维度来训练你的数据，这样构成一个循环，好让你的数据最终的成功度提高。而当你的数据入库的时候，就采用结构化还是非结构化的时候，这点也非常重要。也是决定着你后期读取的快慢！

分析数据

　　这一步是要结合着业务来做的，你对业务理解多少。结合着业务需求来分析数据，而不是单纯理解数据，不同行业不同工种对同一数据的理解是不同的。相比之下，业务人员要对数据的理解更加深入几分。你如何分析你的数据，如何理解里边的特殊值。如何去找到你所要求的目标数据，这一点尤其重要。

　　分析数据，这一点也关系到你的项目的成败。这一点个人感觉也是产品经理需要重要把握的地方。首先，做为产品经理，你不可能对所有行业都了解的很清楚，在这种情况下，就势必要求你能够最大限度的来理解数据的价值。在这一步，你要与业务人员深入交流，确保对数据的详细了解，然后才能够在接下的环节中脱颖而出。

算法选取

　　有人说这一点都涉及研发了，作为产品经理是不需求去重点关注的。但从个人角度来说，这一点也同样重要。因为你初期的算法选取不当会造成后期的结果错误。也就相当于说，基本的东西，你一上来就要选好。

　　而在算法选取方面，个人感觉也是要结合业务来实施。首先，要弄清楚业务那边主要关注的是什么指标。而与这一个指标相关的参数有那些，这些参数都是如何来影响这些指标的。至于算法的准确度，这一点，可以通过对数据颗粒度的细化来不断提高。不同的代码对系统的资源调度是不同的，而若你对算法的了解程度最大限度决定了你最终产品的反应快慢！

需求分析

　　有人说，这一块是最为重要的。为什么你不是放在第一部分来讲，而是放在最后一部分了。因为深刻的感受到，在传统行业，用户的需求不明确，或者说不是那么明确。又或者是用户的需求是可以被引导的。一直以来，个人都将用户的需求分为四种：强需，弱需，真需，假需。

　　有的时候，要分辩这些需求。是要求产品经理具有相关行业的背景的。因为不同行业，不同公司对人的需求是不同的。如何去挖掘用户的需求，并将这些需求转换成为可以落地实现的产品。这点对产品经理的要求是很高的。

部门沟通

　　大数据产品，我将它分为三个线，一个是产品，一个是业务，一个是研发。这样就涉及到了部门之间的沟通。业务有许多的用户需求要经过产品的人来向研发反馈，而研发也需要产品的人把自己的工作落实到实际的项目中来。

　　大数据，对上来说。领导层也许不懂大数据能够做什么。这就需要产品人员来给领导层以通俗的语言来讲明白。而对合作厂家来说，要有正确的引导，才能够让对方看到合作的可能。从而为项目的发展提供动力。

　　大数据项目，以一个产品经理的角度来参于到这个项目中，才发现，自己曾经学到的内容到实际的应用中是那么的微乎其微。传统行业对大数据的渴求不再单单的基于概念而是真正的落地，真正的辅助业务创造价值。而这一方面，对一个产品经理的要求只会越来越高。

　　很高兴前段时间论文的开题也顺利通过了，大数据的路还有很远，且行且珍惜吧！