网易微专业大数据工程师

Posted .x->y=z

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了网易微专业大数据工程师相关的知识,希望对你有一定的参考价值。

本微专业由国际知名教育集团Wiley开发,面向全球化需求,并由Boolan博览网结合国内应用进行扩充。助你系统掌握大数据必备技能和核心技术,包括工具选择,存储、编程、处理和管理数据架构等。
全网独家大数据双语课程。英文内容,中文字幕,原版内容,保证质量。Wiley权威教育资源,顶尖国外公司高管、国内一线工程师协同开发,Boolan博览网学习服务支持。强强联手,打造最有特色的大数据课程。

课程安排
1、大数据基础必修
  做为一名大数据工程师,不仅仅要了解核心技术,还需要了解技术架构是如何和商业环境、业务需求相匹配的。本课程先对大数据技术进行整体介绍,包括它的概念和商业应用状况,并讲解存储、处理和管理大数据的技术架构,介绍 Hadoop 生态系统和 MapReduce 框架是如何支持大数据管理的,并结合企业需求,阐述大数据技术架构是如何高效地实现需求,以及如何灵活支持需求的变更。

授课大纲

大数据基础 大数据简介
大数据的商业应用
【实验】辨识大数据的商业应用
大数据处理技术
理解 Hadoop 生态系统
【实验】本地安装Hadoop和Hive
MapReduce 基础
【实验】单节点安装Hbase
管理大数据生态系统 大数据技术基础
【实验】单节点安装 Pig
大数据管理系统——数据库和数据仓库
【实验】安装 Apache Flume
分析大数据
【实验】安装 Sqoop并连接到mysql
数据集成、实时数据和大数据实现
【实验】安装 ZooKeeper
大数据解决方案和动态数据
【实验】安装 MongoDB


2、大数据进阶(上)必修
  对大数据工程师来说,本门课程是非常核心的。将深入讲解 Hadoop、HBase 和 HDFS 的存储结构,细致练习 MapReduce 编程技能,精深学习 Hadoop 生态系统中的 Hive、Oozie 和 ZooKeeper 等工具。

授课大纲:

数据的保存和处理 在 Hadoop 中保存数据
【实验】管理 Hbase 表中的记录
用 MapReduce 处理数据
【实验】开发MapReduce程序
个性化设置MapReduce执行
【实验】在实践中应用Hadoop MapReduce
测试和调试 MapReduce程序
【实验】在MapReduce中连接Hbase数据
开发MapReduce WordCount程序
【实验】运行WordCount—程序
用 Hive、Pig和 Oozie   提高效率 探索 Hive
【实验】熟悉Hive
Hive高级查询
【实验】使用Hive编写MapReduce程序
用Pig分析数据
【实验】运行Pig Grunt程序
用Oozie做自动数据处理
【实验】安装和配置 Oozie
使用 Oozie
创建 Oozie 工作流


3、大数据进阶(下)必修
  本门课是 Wiley 大数据系列课程的进阶部分,将拓展您的视野,丰富您的武器库。首先会介绍更多的 Hadoop 工具,包括 ZooKeeper、Sqoop、Flume、YARN 和 Storm 等。然后讲解如何用 NoSQL 数据库处理无结构的大数据。接下来会介绍 Hadoop 的安全特性,如何在云端使用 Hadoop,和如何用 Hadoop 处理实时数据。最后会介绍若干种 Hadoop 的商业分发版。

授课大纲:

其它 Hadoop 工具:ZooKeeper、Sqoop、Flume、YARN 和 Storm 用 ZooKeeper 调度分布式处理
【实验】配置Flume收集终端数据
用Sqoop高效传输大量数据
【实验】用Sqoop加载数据
Flume
【实验】配置Flume收集本地文件内容
超越MapReduce——YARN
【实验】配置Flume收集微博数据到HDFS
在YARN上使用Storm
【实验】安装Storm
使用NoSQL和Hadoop:实时、安全和云 Hello NoSQL
【实验】安装和使用Cassandra
使用NoSQL
【实验】使用MongoDB
Hadoop安全
在AWS运行Hadoop应用
实时Hadoop
用MapReduce实现WebCount
商用Hadoop分布与管理工具 Cloudera基础与Cloudera管理
在Cloudera上使用Hive与Cloudera管理
Hortonworks与Greenplum Pivotal HD
IBM InfoSphere BigInsights和MapR


4、大数据开发必修
  本章主要着重hadoop和hbase的实际应用开发及讲解,重点让同学们获得如何去开发和一定的开发实践。也会为大家对必要的知识进行讲解。

授课大纲:

大数据开发基础上 HDFS原理介绍
Hadoop开发实例
【实验】编写hadoop应用代码
YARN原理介绍
MR原理介绍
mapreduce开发实例上
【实验】编写mapreduce
大数据开发基础下 Hbase原理介绍
Hbase开发实例
【实验】编写hbase应用代码
mapreduce开发实例中
【实验】编写mapreduce
大数据开发进阶 Hbase开发实例提高
【实验】编写hbase代码
mapreduce开发实例下
【实验】编写mapreduce代码
HBase提高篇 HBase bulkload代码讲解
【实验】HBase   bulkload代码编写
Hbase过滤器讲解
【实验】编写hbase代码


5、大数据实战必修
  大数据实战着重hadoop和hbase企业级应用,开篇以hadoop高可用和hbase高可用的搭建来实战部署企业的hadoop平台和hbase平台,后面的章节会有两个小型的项目进行开发及讲解,并会介绍一些在企业中常用的工具。

授课大纲:

搭建hadoop2 HA 搭建hadoop2 HA介绍
搭建hadoop2 HA上
【实验】搭建hadoop2 HA
搭建hadoop2 HA下
【实验】搭建hadoop2 HA
搭建企业Hbase HBase搭建实战原理讲解
搭建企业Hbase 上
【实验】搭建Hbase
搭建企业Hbase 下
【实验】搭建Hbase
Hadoop实战篇 Hbase协处理器实战上
【实验】Hbase协处理器代码编写
Hbase协处理器实战下
【实验】Hbase协处理器代码编写
Hbase二级索引
【实验】二级索引代码编写
Mapreduce实战
【实验】项目代码编写

:)

以上是关于网易微专业大数据工程师的主要内容,如果未能解决你的问题,请参考以下文章

就业|数据分析师大数据开发Hadoop开发工程师数据挖掘算法工程师的工资薪水到底怎么样?

网易 微专业

笔记网易微专业-Web安全工程师-04.WEB安全实战-9.XSS

响应式网页设计 python数据分析师到项目实战

笔记网易微专业-Web安全工程师-04.WEB安全实战-8.SQL盲注

网易云课堂微专业—Web安全工程师网易“白帽子黑客”训练营笔记