大数据开发可以自学吗？有哪些需要注意的地方？

Posted 2021-03-11 暮光倾城

我们在学习大数据开发前需要先找到适合自己的方式方法，首先需要审视一下自身的情况，是否是以兴趣为出发点，对大数据是不是自己是真的感兴趣吗，目前对大数据的了解有多少，自己的学习能力和理解能力是否适合学习。如果是跨行业转岗是否做好了心理准备。根据不同基础水平可以分为三类：

第一类：零基础学员，对大数据行业和技术一无所知;

第二类：有一定的编程基础，对大数据行业略知一二，无发真正应该用;

第三类：有工作经验的工程师，对大数据行业了解，想转行大数据开发。

在搞清楚了自身的状况之外，我们要针对不同阶段、不同基础的同学制定不同的学习方案。

对于零基础想要自学大数据，不是说不可能，但是很多以失败告终，客观原因：学习环境不好;主观原因：基础不好，看不懂，学不会，枯燥无味直接放弃。

对于零基础想要学习的大数据的同学，最好的方案是：先关注一些大数据领域的动态，让自己融入大数据这样一个大的环境中。然后找一些编程语言的资料(大数据的基础必备技能)和大数据入门的视频和书籍，基本的技术知识还是要了解的。

在学习了一段时间之后，如果觉得自己还能应付的来，就继续寻找大数据基础视频和书籍，一步一个脚印的来;如果觉得觉得自己入门都很难，要么放弃，要么舍得为自己投资一把，去选择一家靠谱的培训机构。

数据科学特点与大数据学习误区解析

1、大数据学习要业务驱动，不要技术驱动：数据科学的核心能力是解决问题。

大数据的核心目标是数据驱动的智能化，要解决具体的问题，不管是科学研究问题，还是商业决策问题，抑或是政府管理问题。

所以学习之前要明确问题，理解问题，所谓问题导向、目标导向，这个明确之后再研究和选择合适的技术加以应用，这样才有针对性，言必hadoop,spark的大数据分析是不严谨的。

不同的业务领域需要不同方向理论、技术和工具的支持。如文本、网页要自然语言建模，随时间变化数据流需要序列建模，图像音频和视频多是时空混合建模;

大数据处理如采集需要爬虫、倒入导出和预处理等支持，存储需要分布式云存储、云计算资源管理等支持，计算需要分类、预测、描述等模型支持，应用需要可视化、知识库、决策评价等支持。

所以是业务决定技术，而不是根据技术来考虑业务，这是大数据学习要避免的第一个误区。

2、大数据学习要善用开源，不要重复造轮子：数据科学的技术基因在于开源。

IT前沿领域的开源化已成不可逆转的趋势，android开源让智能手机平民化，让我们跨入了移动互联网时代，智能硬件开源将带领跨入物联网时代，以Hadoop和Spark为代表的大数据开源生态加速了去IOE(IBM、ORACLE、EMC)进程，倒逼传统IT巨头拥抱开源，谷歌和OpenAI联盟的深度学习开源(以Tensorflow,Torch,Caffe等为代表)正在加速人工智能技术的发展。

数据科学的标配语言R和Python更是因开源而生，因开源而繁荣，诺基亚因没把握开源大势而衰落。

为什么要开源，这得益于IT发展的工业化和构件化，各大领域的基础技术栈和工具库已经很成熟，下一阶段就是怎么快速组合、快速搭积木、快速产出的问题，不管是linux,anroid还是tensorflow，其基础构件库基本就是利用已有开源库，结合新的技术方法实现，组合构建而成，很少在重复造轮子。

另外，开源这种众包开发模式，是一种集体智慧编程的体现，一个公司无法积聚全球工程师的开发智力，而一个GitHub上的明星开源项目可以，所以要善用开源和集体智慧编程，而不要重复造轮子，这是大数据学习要避免的第二个误区。

3、大数据学习要以点带面，不贪大求全：数据科学要把握好碎片化与系统性。根据前文的大数据技术体系分析，我们可以看到大数据技术的深度和广度都是传统信息技术难以比拟的。

大数据只有和特定领域的应用结合起来才能产生价值，数据科学还是数据工程是大数据学习要明确的关键问题。

大数据学习一定要清楚我是在做数据科学还是数据工程，各需要哪些方面的技术能力，现在处于哪一个阶段等，不然为了技术而技术，是难以学好和用好大数据的。