我是DBA,从大数据小白到阅读框架源码,薪资翻了三倍
Posted 大数据肌肉猿
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了我是DBA,从大数据小白到阅读框架源码,薪资翻了三倍相关的知识,希望对你有一定的参考价值。
前言
自我介绍
为什么要学习大数据
以下是我详细的学习各类的知识点:
-
Hadoop -
工作流程(Shuffle) -
实现全局排序与局部排序 -
实现join操作 -
数据倾斜 -
单机架构 -
工作流程 -
资源如何配置 -
三种调度器 -
单机架构 -
读写流程 -
副本策略 -
单机环境中SNN如何工作 -
HA架构 -
故障案例:例如block块损害该怎么修复 -
如何编译支持各类压缩 -
HadoopAPI使用 -
HDFS -
Yarn -
MapReduce -
Zookeeper -
单机/集群部署 -
过半机制 -
选举制度 -
Flume -
Source -
Channel -
Sink -
Interceptors -
Channel Selector -
Sink Precessors -
Taildir -
Exec -
Spooling -
Avro -
自定义 -
Memory -
File -
HDFS -
Logger -
Kafka -
Avro -
自定义 -
架构 -
工作流程 -
Scala -
List -
Map -
Array -
Set -
case class -
伴生对象/类 -
数据类型 -
方法和函数 -
循环 -
类和对象 -
集合以及算子 -
模式匹配 -
隐式转换 -
Spark -
DStream概念 -
Source -
Transformations -
Output -
Performance Tuning -
Kafka对接方式以及消费语义 -
DF/DS API -
外部数据源 -
Tuning -
概念 -
Transformations -
Action -
Cache -
累加器和广播变量 -
Shuffle源码实现 -
内存模型 -
支持CDH -
Building -
架构以及工作流程 -
RDD -
SQL -
Streaming -
Yarn提交作业流程以及如何提交 -
Spark调优 -
Kafka -
单机/集群部署 -
常用命令 -
核心概念 -
offset管理 -
怎么保证数据一致性 -
调优 -
HBase -
HBase-CDH环境部署/单机部署 -
核心概念 -
逻辑/物理模型 -
架构以及读写流程 -
RK设计 -
调优
面试经历
总结
1.学习东西一手资料全在官网,习惯看英文文档。
2.学习过程一定要形成笔记或者写博客来记录,方便之后复习。
3.学习目标一定要以JD为准,效率最快以及保证技术不会落后。
4.习惯设定目标激励自己,实现自我驱动。
5.面试能够走内推就走内推,人脉很重要。
6.前期找个人带带,可以少走很多弯路。
资料链接:
-
我的博客: https://liverrrr.fun/ -
B站视频: -
https://space.bilibili.com/356836323/video
以上是关于我是DBA,从大数据小白到阅读框架源码,薪资翻了三倍的主要内容,如果未能解决你的问题,请参考以下文章