大数据技术包括哪些

Posted 2023-05-02

参考技术A 想要成为炙手可热的大数据技术人才，这些大数据的核心技术一定要知晓！

一、大数据基础阶段
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、mysql基础、Oracle基础、MongoDB、redis以及hadoop mapreduce hdfs yarn等。
1、Linux命令
对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令
2、 Redis
Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，php，javascript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。
二、大数据存储阶段
大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。
1、HBase
HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。
2、Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。
三、大数据架构设计阶段
大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等。
1、Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！
2、Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。
3、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。
四、大数据实时计算阶段
大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。
1、Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。
2、storm
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm用于实时处理，就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。
五、大数据数据采集阶段
大数据数据采集阶段需掌握的技术有：Python、Scala。
1、Python与数据分析
Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。
2、Scala
Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！
以上只是一些简单的大数据核心技术总结，比较零散，想要学习大数据的同学，还是要按照一定到的技术路线图学习！

大数据开发需要学哪些项目 从哪里入手比较好

大数据开发需要学哪些项目？从哪里入手比较好？大数据时代的兴起，带起了批量先进技术的发展，于大数据技术而言，核心就是数据，包括我们的个人信息、浏览记录和购买详单等等，都是庞大的数据库中的一个数据。而大数据程序员在学习过程中，就会跟这些数据打交道，接触到不同的项目，从而不断升级自己的技术库。

大数据一般有哪些项目?大数据项目有很多，所用到的技术也是不同的，下面先给大家介绍一个在大数据中的典型项目。

1、项目介绍

阿里网上购物的人已经习惯了收到系统为他们做出的个性化推荐， Netflix会推荐你可能会喜欢看的视频。TiVo会自动把节目录下来，如果你感兴趣就可以看， Pandora会依靠预测我们想要听什么歌曲从而生成个性化的音乐流，所有这些推荐结果都来自于名式各样的推荐系统。

如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502 这样大家学习的话就比较方便，还能够共同交流和分享资料

它们依靠计算机算法运行，根据顾客的浏览、搜索、下单和喜好，为顾客选择他们可能会喜欢、有可能会购买的商品，从而为消费者服务，推荐系统的设计初衷是帮助在线零售商提高销售额，现在这是一块儿规模巨大且不断增长的业务，与此同时，推荐系统的开发也已经从上世纪90年代中期只有几十个人研究，发展到了今天拥有数百名研究人员，分别供职于各高校、大型在线零售商和数十家专注于这类系统的其它企业。

2、项目特色

有没有想过自己在亚马逊眼中是什么样子?答案是：你是一个很大很大的表格里一串很长的数字。这串数字描述了你所看过的每一样东西，你点击的每一个链接以及你在亚马逊网站上买的每一件商品，表格里的其余部分则代表了其他数百万到亚马逊购物的人，你每次登陆网站，你的数字就会发生改变在此期间，你在网站上每动一下，这个数字就会跟着改变，这个信息又会反过来影响你在访问的每个页面上会看到什么，还有你会从亚马逊公司收到什么邮件和优惠信息

3、项目技术架构体系

a)推荐系统基础知识

b)推荐系统开发流程分析

c) Mahou协同过滤api使用

d)Java推荐引擎开发实战

e)推荐系统集成运行