想转行到大数据开发需要学习哪些技术？

Posted 2023-05-01

想转行到大数据开发需要学习哪些技术？

如果要学习大数据，不管你是零基础，还是有一定的基础，都是要懂至少一种计算机编程语言，因为大数据的开发离不开编程语言，不仅要懂，还要精通！但这门编程语言不一定是java。

比如说，如果你主攻Hadoop开发方向，是一定要学习java的，因为Hadoop是由java来开发的。

如果你想要主攻spark方向，是要学习Scala语言的，每个方向要求的编程语言是不同的。

如果你是想要走数据分析方向，那你就要从python编程语言下手，这个也是看自己未来的需求的。

大数据是需要一定的编程基础的，但具体学习哪一门编程，自己可以选择的。其实只要学会了一门编程语言，其他编程语言也是不在话下的。 参考技术A 找个一门大数据框架，比如hadoop spark 参考技术B 转行？那你肯定是 没有基础的，你没基础不建议个人看书学习，可以去报班。 参考技术C

转行大数据需要学习的技术路线

第1阶段Java

第2阶段JavaEE核心

第3阶段Hadoop生态体系

第4阶段大数据spark生态体系

大数据需要学习的技术

参考技术D 大数据的话jawa这些肯定是要懂的，编程，后台都需要，

大数据到底能做什么？需要学习哪些知识？

相信很多大数据的初学者或者想转行大数据开发的朋友最关注的问题就是大数据开发到底可以做什么。

什么是大数据？

?"大数据"这个词频繁的出现在媒体是2007年之后的事了。尽管已经过去了10多年的时间，但是大家对它的理解并不统一，甚至有时候会对它有误解，比如很多人将”大数据“跟“大规模数据”混为一谈。

要想知道大数据能做什么，我们得首先搞清楚到底什么是大数据，它有哪些特征。

?大数据最明显的特征就是体量大，但是数据仅仅是体量大，并不能算是大数据。比如一个人的基因全图谱的数据是上百GB到1TB之间，从数据量上来说已经够大了。但是它没有太大的统计意义。所以体量大，仅仅是大数据一个特点，并不是数据量大都能称得上大数据。

大数据除了数据量大之外，一些大数据专家将大数据的特征概括成了三个V，即Vast(大数据量)、Variety(多样性)、Velocity(及时性)

仅仅数据量大是没有任何意义的，我们需要对数据进行管理‘分析才能实现较高的商业价值。

?

大数据究竟可以用在哪些方面呢？?

大数据的应用实在太过广泛，可以说大数据已经对各行各业都有着革命性的改革，物流、×××、营销、客户管理、医疗、零售、环保等等都有其身影。

零售行业，可以根据需求和库存的情况，适时调整价格 。

医疗行业，可以根据众多病人的特征，分析原因，量级太小的时候，这些特征根本不明显，不会得到重视，只有在大量数据中，才能发现平时注意不到的现象。

公共安全方面，可以根据以往犯罪数据预测发生犯罪事件的地区与概率。

娱乐方面，比如《纸牌屋》的制作公司根据以往的用户习惯，打造出大受欢迎的电视剧

?

学习大数据需要掌握哪些知识呢？

1. Java SE也就是所谓的Java基础、sql(建议从mysql入手)、?Linux

2.?大数据离线分析：如Hadoop Hive HBase、sqoop、flume等

3. 大数据实时分析：scalc语言、Spark等

4. 大数据机器学习（扩展）?
   spark MLlib:机器学习库?
   pyspark编程：Python和spark的结合?
   推荐系统?
   python数据分析?
   Python机器学习

大家有什么想了解更多可以加wx:fiercelf

---

作者：友信科创-名师刘峰
来源：CSDN
原文：https://blog.csdn.net/weixin_36043432/article/details/91367065
版权声明：本文为博主原创文章，转载请附上博文链接！