大数据技术核心框架最强知识体系总结||（2021版）（含面试题）

Posted 2023-02-01 zgrjddd

文章目录

• • 前言
  • hadoop框架
  • Hive数据仓库
  • ZooKeeper协调服务系统
  • HBase
  • phoenix
  • Redis
  • Flume
  • SSM
  • Kafka
  • Scala
  • Spark
  • Azkaban
  • 常用工具

前言

希望能够给大家提供一些学习大数据的方法和一些基础的框架，提供一些个人的经验和建议,后续会持续更新的。

hadoop框架

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作。

序号	内容	链接地址
1	Hadoop框架超详细讲解	https://blog.csdn.net/qq_43674360/article/details/105317651
2	Hadoop 分布式集群搭建(极度重点)	https://blog.csdn.net/qq_43674360/article/details/112411356
3	window 10 hadoop 集群搭建	https://blog.csdn.net/qq_43674360/article/details/105317651
4	HDFS 的命令操作	https://blog.csdn.net/qq_43674360/article/details/109056244
5	hadoop:MapReduce之 shuffle过程详解	https://blog.csdn.net/qq_43674360/article/details/109449024
6	hadoop案例	https://blog.csdn.net/qq_43674360/article/details/112413016

Hive数据仓库

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

序号	内容	链接地址
1	hive的学习路线（思维导图）	https://blog.csdn.net/qq_43674360/article/details/109802256
2	第1章 Hive基本概念	https://blog.csdn.net/qq_43674360/article/details/109803190
3	第2章 Hive安装	https://blog.csdn.net/qq_43674360/article/details/109803527
4	第3章 Hive数据类型	https://blog.csdn.net/qq_43674360/article/details/109997630
5	第4章 DDL数据定义	https://blog.csdn.net/qq_43674360/article/details/109998795
6	第5章 DML数据操作(hive笔记)	https://blog.csdn.net/qq_43674360/article/details/110002170
7	第六章 hive的简单查询（where ，groupby，join，order by等）	https://blog.csdn.net/qq_43674360/article/details/110850375
8	第七章 hive函数讲解（自定义函数）	https://blog.csdn.net/qq_43674360/article/details/110877499
9	第8章 hive压缩和存储	https://blog.csdn.net/qq_43674360/article/details/110877608
10	第9章 hive企业级调优	https://blog.csdn.net/qq_43674360/article/details/110878084
11	第10章 Hive实战之YouTube影音(简化版)	https://blog.csdn.net/qq_43674360/article/details/110880957
12	第11章 hive常见错误及解决方案	https://blog.csdn.net/qq_43674360/article/details/110881164

ZooKeeper协调服务系统

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

序号	内容	链接地址
1	zookeeper入门	https://blog.csdn.net/qq_43674360/article/details/110948110
2	zookeeper 内部原理 （选举机制，面试重点）	https://blog.csdn.net/qq_43674360/article/details/110948760
3	zookeeper的分布式安装实战	https://blog.csdn.net/qq_43674360/article/details/110948976
4	zookeeper 客户端命令大全（详细，有图片操作步骤）	https://blog.csdn.net/qq_43674360/article/details/111039779
5	zookeeper的集群一键启动 和关闭脚本（有图）	https://blog.csdn.net/qq_43674360/article/details/111047891
6	zookeeper API 基础	https://blog.csdn.net/qq_43674360/article/details/111195413
7	Zookeeper 监听服务器节点动态上下线（代码复制即可用）	https://blog.csdn.net/qq_43674360/article/details/111251034

HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

phoenix

Redis

Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，php，javascript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。

SSM

SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合操作。

Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现。

Scala

Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识!

Spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。

Azkaban

Azkaban是一个批量工作流任务调度器，可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用Azkaban来完成大数据的任务调度，大数据开发需掌握Azkaban的相关配置及语法规则。

常用工具

intellij idea
LICEcap
git
sourcetree
navicat
mobaxterm
vmvare