大三学习规划路线图

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大三学习规划路线图相关的知识,希望对你有一定的参考价值。

技术分享

路线图介绍:

本课程对大数据生态系统进行全方位讲解,有hadoop实操与底层原理应用,DFS与MapRedcue的全新解读,内含有全网独家发布的YARN调度框架的底层事件二次分发机制和Google源码级IPC和RPC的通信技术原理与报文字节码级别的协议分析,Scala语言的编程技巧与java语言的互操作性,Spark中数据处理如何弹性化、如何调优以及对Scala编程语言的典型应用。ZooKeeper作为分布式系统协同服务的原理实现与实战应用,zkCli下同zk的交互模式以及素有瑞士***之称的NC指令在zk中的运用,Hbase作为面向列族的数据库实现原理以及同ZooKeeper的整合技术,Hive数据仓库技术的使用技巧以及在传统RDBMS的交互与过渡。Mahout以R语言在机器学习领域的重要性和编程技能,Linux下虚拟化与云计算的技术讲解及实战应用。各种streaming数据处理以加压缩技术的性能对比和优化,独立搭建Hortonworks本地仓库,并利用Ambari技术在企业大规模构造大数据规模化集群时的实战过程,一站式安装、配置、调优、监控、运维大数据集群的解决方案。

本路线图针学习目标:

掌握大数据概念和核心应用场景,能够彻底认识到大数据的重要性,以及能够有效把握未来大数据的发展方向。能够掌握hadoop的技术架构和底层原理,对分布式架构能够做到更深入的认识和体会,尤其是yarn框架的底层事件分发机制、轮询机制、多线程以及nio的组合应用。还有更重要的基于google的IPC通信技术。能够独立搭建hadoop集群、配置以及管理。能够灵活应用hadoop生态系统的各种技术进行数据处理。其中对Linux的技术知识也不可小觑,能够搭建各种仓库本地,比如ubuntu软件源、ambari、maven等等一系列组件,都是在企业中极其适用的技术。掌握spark和核心技术尤其是RDD的原理与使用,还有scala语言的掌握。

第一阶段:Hadoop基础环境搭建与3种模
介绍 学员请先学习本部分基础课程。本部分将主要讲解Hadoop基础环境搭建与3种模式配置!
技术大点1:Hadoop第一季--基础知识实战视频课程
重点解析:本课准对大数据进行基础的环境搭建,目前市场比较火的大数据,我们会从基础搭建开始一步步教学
序号 技术点细分
1 Hadoop介绍
2 Hadoop基础课程VMware安装
3 Hadoop基础课程Ubuntu下载与虚拟机下安装
4 Hadoop基础课程Ubuntu常用命令
5 Hadoop基础课程Ubuntu目录和权限
6 Hadoop基础课程Ubuntu软件包桌面程序以及增强工具
7 Hadoop基础课程Ubuntu本地软件源与ISO制作
8 Hadoop基础课程Ubuntu克隆与Mac生成&网络连接方式
9 Hadoop在Ubuntu下安装JDK
10 Hadoop在Ubuntu下安装Hadoop
技术大点2:Hadoop第二季-1.配置独立模式视频课程
重点解析:介绍hadoop独立模式,场景使用。一步步演示怎么配置独立模式,并且通过案例介绍独立模式,学完此课程学生会明白伪分布模式与独立模式,完全模式的区别。
序号 技术点细分
1 Hadoop配置独立模式
技术大点3:Hadoop第二季-2.伪分布式模式的配置视频课程
重点解析:学会如何配置伪分布模式以及使用场景,一步步演示怎么配置伪分布模式,学完此课程学生会明白伪分布模式与独立模式的区别
序号 技术点细分
1 Hadoop配置伪分布式模式
技术大点4:Hadoop第二季-3.配置完全分布式模式视频课程
重点解析:hadoop三种模式:独立模式,伪模式,完全分布模式。目前常用配置模式,学会使用配置完全分布模式。
序号 技术点细分
1 Hadoop配置完全分布模式之修改虚拟机名称和目录
2 Hadoop配置完全分布模式之修改登录提示和主机名
3 Hadoop配置完全分布模式之使用符号链接实现配置分离
4 Hadoop完全分布模式之克隆客户机与ssh远程无密登录
5 .Hadoop配置完全分布模式之IP设置与远程拷贝与格式化启动
第二阶段:win7下面配置环境以及mapred
介绍 win7下面配置环境以及mapreduce架构分析与应用
技术大点5:Hadoop第三季-Win7下免搭建Cygwin视频课程
重点解析:在win7下面即使不安装cygwin软件,也能在win7下面搭建hadoop环境,中间只需要引入一个第三方增强软件(hadoop-common.zip)即可。
序号 技术点细分
1 hadoop在Win7下免Cygwin安装以及第三方增强软件介入
2 Win7下免Cygwin安装续与NativeBug解决与Dexpot
技术大点6:Hadoop第四季-架构分析实战视频课程
重点解析:掌握架构结构,体系结构,HDFS架构分析,NN和DN原生解读,Hadoop架构分析之启动脚本分析一
序号 技术点细分
1 Hadoop架构分析之单节点体系
2 Hadoop架构分析之集群结构分析
3 Hadoop架构分析之HDFS架构分析
4 Hadoop架构分析之NN和DN原生文档解读
5 Hadoop架构分析之启动脚本分析一
技术大点7:Hadoop第五季-启动脚本分析视频课程
重点解析:让想学习hadoop的人知道hadoop启动原理,全方便的掌握hadoop原理。
序号 技术点细分
1 Hadoop启动脚本分析集群id的兼容与start-allcmd讲解
2 Hadoop启动脚本分析start-dfs与hadoop-config
3 Hadoop启动脚本分析hadoop.cmd命令
4 Hadoop启动脚本分析数据格式化与hdfs.cmd命令
5 Hadoop启动脚本分析mared和虚拟机参数的配置
6 Hadoop启动脚本分析start-yarn命令
7 Hadoop启动脚本分析yarn.cmd与yarn-evn.cmd命令
8 Hadoop架构分析之启动脚本分析终极hdsfs部分
9 Hadoop架构分析之启动脚本分析终极yarn部分
技术大点8:Hadoop第六季-MapReduce代码实现案例视频课程
重点解析:通过此章可以快速了解MapReduce,并且通过代码实现大数据编写
序号 技术点细分
1 Hadoop  MapReduce初识
2 Hadoop  MapReduce编写Mapper类
3 Hadoop  MapReduce编写Reducer类
4 Hadoop  MapReduce编写主函数类
5 Hadoop  MapReduce独立模式运行程序
技术大点9:Hadoop第七季-MapReduce定制block限制+输入切
重点解析:了解学习MapReduce集群模式下一些知识
序号 技术点细分
1 Hadoop  MapReduce集群模式下运行程序
2 Hadoop  MapReduce集群模式调整配置与shell
3 Hadoop  MapReduce集群模式调整配置最小块
4 Hadoop  MapReduce集群模式调整配置考查数据分布
5 Hadoop  MapReduce定制切割与副本数以及块大小定制
6 Hadoop  MapReduce集群模式深入定制切割与切割法则考查
7 win7下配置networks文件映射主机名和端口号利于网络访问
8 MapReduce原理之物理导航+eclipse安装+后台启动+命令化
9 Hadoop  MapReduce原理之Hadoop插件安装+配置+验证
10 Hadoop  MapReduce原理之与大象装进冰箱的相似点
11 Hadoop  MapReduce原理之进入流程图
12 Hadoop  MapReduce原理之核心类Job和ResourceManager解读
13 Hadoop  MapReduce原理之核心类NodeManager和MRAppMaster解读
14 Hadoop  MapReduce原理核心类Yarn与MapTask与ReduceTask
15 Hadoop  MapReduce原理之核心类RM与NM与AM的体系结构分析
技术大点10:Hadoop第八季-1.MapReduce原理探查准备视频课程
重点解析:一般同学只会用而不知道原理,为了增加工作中更好的应用MapReduce,徐培成老师对MapReduce原理进行3个课程的分析。
序号 技术点细分
1 Hadoop  MR win7下配置networks文件
2 Hadoop  MapReduce原理之物理导航等命令化操作
3 Hadoop  MapReduce原理之Hadoop插件安装+配置+验证
技术大点11:Hadoop第八季--2.MapReduce原理探查与大象关进冰
重点解析:对hadoop中MapReduce原理探查与大象关进冰箱+流程图
序号 技术点细分
1 Hadoop  MapReduce原理之与大象装进冰箱的相似点
2 Hadoop  MapReduce原理之进入流程图
技术大点12:Hadoop第八季-3.MapReduce原理探查核心类整理分析
重点解析:对Hadoop中MapReduce原理探查核心类整理分析 ,全面了解MapReduce
序号 技术点细分
1 Hadoop  MapReduce原理之核心类Job和ResourceManager解读
2 Hadoop  MapReduce原理之核心类NodeManager和MRAppMaster解读
3 Hadoop  MR原理之核心类Yarn与MapTask与ReduceTask解读
4 Hadoop  MapReduce原理之核心类RM与NM与AM的体系结构分析
技术大点13:Hadoop第九季-1.MapReduce原理代码实战异常再现+A
重点解析:对hadoop中MapReduce原理通过代码实战讲解并且通过异常再现+Ant
序号 技术点细分
1 Hadoop  MapReduce原理代码实战之错误信息展现于分析
2 Hadoop  MapReduce原理代码实战之Ant使用
技术大点14:Hadoop第九季--2.MapReduce原理代码实战Job提交推
重点解析:MapReduce客户端提交job的流程分析、job内部提交过程展示、job在提价后在hdfs集群上的各个文件内容与部分以及web  ui的操作。
序号 技术点细分
1 Hadoop  MapReduce原理代码实战之Job提交推演
技术大点15:Hadoop第九季-3.MapReduce原理探查核心类整理分析
重点解析:从底层源代码阐述MR原理技术,核心类的关系和体系结构,图文并茂解析理论。
序号 技术点细分
1 Hadoop  MapReduce原理代码实战之Job初始化分析
2 Hadoop  MapReduce原理代码实战之ResourceManager远程调试
第三阶段:YARN调度框架事件与Hadoop底层IPC和RPC通信原理解析
介绍 YARN调度框架事件与Hadoop底层IPC和RPC通信原理解析
技术大点16:Hadoop第十季-YARN调度框架事件二次分发原理深度解
重点解析:掌握YARN底层事件调度机制,清晰描述Application基于状态机的变换过程和实现原理,事件流处理方式,eclipse的远程调试。
序号 技术点细分
1 Hadoop  Yarn框架底层事件分发机制概述
2 Hadoop  Yarn框架底层事件分发调试准备
3 Hadoop  Yarn框架底层事件分发调试Async分发器调试
4 Hadoop  Yarn底层事件分发调试RMApp事件处理调试+状态机变换
5 Hadoop  Yarn框架底层事件分发调试之状态机事件触发原理
技术大点17:Hadoop第十一季-Hadoop底层IPC和RPC通信原理解析
重点解析:通过对Hadoop底层通信原理的阐述以及在源代码层面上的跟踪,结合图形方式描述请求发送时,消息的封装过成,让大家理解hadoop在底层的通信过程,最终看到Socket通信的内容。
序号 技术点细分
1 Hadoop  底层IPC和RPC通信原理解析
第四阶段:Ambari、ZooKeeper、Hbase
介绍 YARN调度框架事件与Hadoop底层IPC和RPC通信原理解析
技术大点18:Ambari第一季-ambari介绍、安装使用以及常见问题视
重点解析:通过本章节介绍了解ambari的优点,工作原理,能够熟练对ambari进行安装配置,以及解决常见的错误和问题。了解HDP和HDP  utils以及hortonworks项目。
序号 技术点细分
1 Ambari  Hadoop集群管理软件之介绍
2 Ambari  Hadoop集群管理软件之下载安装配置启动登
3 Ambari之疑难问题解决与Root账户无密登录处理
技术大点19:Ambari第二季--集群管理本地软件栈构建与使用视频课程
重点解析:掌握HDP软件栈的执行原理,能够数量进行HDP、Ambari等软件的本地仓库升级与配置。
序号 技术点细分
1 Ambari  Hadoop集群管理软件之HDP软件栈本地仓库搭建
2 Ambari  Hadoop集群管理软件之AmbariServer通过本地仓库安装
3 Ambari  Hadoop集群管理软件之Hadoop集群本地化安装
技术大点20:ZooKeeper第一季-ZK简介、下载与安装视频课程
重点解析:了解ZooKeeper用途、原理,掌握ZooKeeper集群构建过程,解决在安装期间常见的问题和错误。
序号 技术点细分
1 ZooKeeper简介
2 ZooKeeper下载与安装
技术大点21:ZooKeeper第二季-Leader宕机演示、nc、zkCli命令使 
重点解析:掌握Leader的选举过程,nc命令的使用,包括tcp网络传输、文本聊天和端口扫描。zkCli命令的使用,zk的核心概念和专业术语。
序号 技术点细分
1 ZooKeeper分布式集群配制与Leader宕机测试
2 ZooKeeper分布式集群配制与nc  Linux命令的网络通信利器
3 ZooKeeper分布式集群配制与zk四字符客户端指令
4 ZooKeeper分布式集群配制与zkCli.sh客户端程序使用
技术大点22:ZooKeeper第三季-ZK客户端编程API使用、观察者模式回调处理视频课程 
重点解析:掌握zk核心类库的使用和编程技巧,重点在zk观察者中事件回调机制的使用以及one  time方式的注意事项。
序号 技术点细分
1 ZooKeeper分布式集群协同之客户端API调用
2 ZooKeeper分布式集群协同之客户端API创建和删除path
3 ZooKeeper客户端API观察者模式与事件回调处理
技术大点23:HBase内功修炼实战视频课程 
重点解析:HBase直接上手实战,深入掌握HBase。
序号 技术点细分
1 HBase介绍
2 HBase安装、体验
3 HBase完全分布式配置、启动与shell命令查看
4 HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行
5 HBase使用客户端API完成数据库CRUD操作
6 HBase使用新型API类库进行数据访问操作
7 HBase新API大批量插入以及hbase表结构与Hadoop文件系统
8 HBase与ZooKeeper组合应用以及在shell下操纵namespace.avi
技术大点24:Scala精通与实战编程视频课程 
重点解析:掌握Scala的编程语法,理解Scala的运行原理,熟练运用Scala进行程序开发,能够在Java和Scala之间灵活切换和互操作。
序号 技术点细分
1 Scala介绍与安装
2 Scala基础
3 Scala操作符重载与Apply与包导入
4 Scala控制结构与函数
5 Scala异常处理与过程与延迟初始化
6 Scala数组与多维数组
第五阶段:征服Spark
介绍 YARN调度框架事件与Hadoop底层IPC和RPC通信原理解析
技术大点25:征服Spark(一)入门与提高篇视频课程
重点解析:掌握Spark核心概念和技术原理掌握Spark与Hadoop的优势对比掌握Spark的两种安装方式与集群的构建掌握Spark的核心概念Resilient  Distributed  Dataset.掌握Maven的工作原理以及本地Maven仓库服务器的搭建与配置掌握Spark集群的部署模式以及shell的应用掌握Spark编程与运行
序号 技术点细分
1 Spark简介
2 Spark预编译版本下载安装与启动
3 Spark体验shell操作与wc操作与RDD介绍
4 Spark通过Maven进行源码编译安装
5 Spark搭建Maven本地仓库服务器
6 Spark通过本地Maven仓库服务器进行编译
7 Spark官方doc的宏观描述和优势说明
8 Spark独立集群模式部署和启动
9 Spark  Master和Worker的webui查看以及FIFO作业调度讲解
10 Spark独立集群模式端口修改
技术大点26:征服Spark(二)Spark项目编译运行篇视频课程
重点解析:了解sbt(simple build  tool)掌握使用maven对Spark的项目进行编译和运行,理解addFile的操作原理和Spark的整体概述掌握maven的pom文件的配置掌握eclipse下maven的使用与spark项目的构建以及仓库的配置。
序号 技术点细分
1 Spark  shell应用于addFile
2 Spark程序build的宏观介绍
3 通过交互模式初始化Maven项目
4 通过参数指定方式直接初始化Maven项目
5 准备java源文件到自己的源码包中
6 设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系
7 使用mvn  package指令进行编译并进行打包
8 使用java指令添加spark类库运行Spark程序
9 使用maven的exec执行插件运行java程序
10 配置eclipse的maven插件使用本地maven仓库服务器
11 eclipse之下maven项目的配置编译运行
12 eclipse之Scala插件的卸载与安装
13 eclipse下构建Scala程序以及运行
14 通过Scalac命令手动编译scala程序并执行
15 命令行下通过maven编译运行Scala程序
16 eclipse下通过maven+scala插件用Scala开发Spark应用

 

以上是关于大三学习规划路线图的主要内容,如果未能解决你的问题,请参考以下文章

Linux开发(驱动&应用)学习路线规划

机器学习2——学习路线规划

Linux驱动开发学习路线规划

2022 大三上规划

2022 大三上规划

C#新手该如何规划学习学习路线指南