大数据实践总结－－－一点思考

Posted 2020-10-04

本文算是一个阶段总结吧！总算是把MapReduce给搞完了。细想这三周来的收获，可能除了代码，更多的是逻辑上的提高吧！下边就以之前只会理论时的一些问题来开启本文吧！

1，大数据架构师，产品经理需要写代码吗？

  需要，只不过写代码的程度不同。大数据架构师要详细了解大数据的各个模块功能，相关的接口参数。可以说，架构师要对代码有很详细的了解。大数据的相关工作中，架构，开发，运维都需要写代码。但每个人写的代码内容也不相同。对于一个IT公司来说，这三块主要是主开发人员，对代码经验都有很大要求。

  产品经理，主要是研究客户需求。对于一个团队来说，一个好的产品基本定型了这个公司的未来。他可以会代码，也可以不会，但最好会点。要把握一个产品的运营，营销，各个环节。所以，产品经理最好是从代码工程师出来的，这样跟代码开发人员沟通起来也会方便一些。

2，MapReduce的代码需要一一来写吗？

  不一定。天下文章一大抄。而代码这一块，在会了基本的语法，嵌套，循环之后，你可以去套用别人好的代码。多去看其他人的代码，多看优质代码，这样不光是优化了你代码逻辑，也便于你写出更优质的代码。好的代码自身就是注释。

  曾经就发现，自己要写10多行才能实现的功能，有的人一行代码就可以实现。发现对于对方很是佩服。后来就明白了为什么，IT公司在招聘的时候一定要招有相关代码经验的人。这样会更便于团队合作及代码修改。

3，售前解决方案跟产品经理的关系，如何转型？

  实际上是在不同行业的两种叫法，售前解决方案主要是在传统行业的一个职位名称。而产品经理则是互联网行业的一个称谓。传统行业用的都是一些现成的技术架构来解决曾经存在的问题。而互联网行业的一些业务问题是之前不曾见到过的，这就要用到互联网的一种思路。而软件工程里的模块化思维又是解决这种问题的有效利器。

  互联网行业很多时候都是一种精英思维，一个人要会很多方面的东西，既要会网络，又要会编程，还要懂点产品的营销，相关活动的策划等等。而传统行业，人员分工特别精细，每一个人的螺丝钉思维很严重。这在新形势下是很受挑战的。如何快速学习，快速将新知识，新技术应用到业务场景并产生相应功效。这一点，是传统行业的人需要思考的。

4，大数据的技术难学吗？

   实际上，这个问题问了等于白问。任何技术问题的解决都是要经历一个过程的。不是说你写一个解决方案，我照着抄写下来就可以了。

   在搭建虚拟机环境的过程，就遇到了很多问题。多去思考这些问题的成因，先自己去寻找解决的办法。有别人的代码，也要在读懂的基础上修改几个关键参数。看是否能够达到相应的效果。多去讨论，多去看相关的贴子。多去写技术总结，或者以教促学，这些办法都是很多的梳理你的技术思维的过程。

5，未来五年后，这个行业会怎么样？做这份工作会不会没饭吃？

   实际上，这个问题曾经也纠结过自己很长时间。开始写代码后，才慢慢明白。还得出了一个很简单的结论：与其纠结，不如实干！有的时候，人担心的东西过多，就会让你在现实的情况下裹足不前。

   有人说，现在需要Python比较多,Java需求减少了,我要学Python.或者说要去学ios或Andior.实际上，技术总是在更新换代，你现在学的东西总是会过时，你去看一看曾经的CCIE现在又都在做什么呢？不要过多的纠结于未来。多去把当下想学的东西弄明白。

本文出自 “数据挖掘与可视化” 博客，转载请与作者联系！