网易微专业大数据工程师
Posted .x->y=z
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了网易微专业大数据工程师相关的知识，希望对你有一定的参考价值。
本微专业由国际知名教育集团Wiley开发，面向全球化需求，并由Boolan博览网结合国内应用进行扩充。助你系统掌握大数据必备技能和核心技术，包括工具选择，存储、编程、处理和管理数据架构等。
全网独家大数据双语课程。英文内容，中文字幕，原版内容，保证质量。Wiley权威教育资源，顶尖国外公司高管、国内一线工程师协同开发，Boolan博览网学习服务支持。强强联手，打造最有特色的大数据课程。
课程安排
1、大数据基础必修
做为一名大数据工程师，不仅仅要了解核心技术，还需要了解技术架构是如何和商业环境、业务需求相匹配的。本课程先对大数据技术进行整体介绍，包括它的概念和商业应用状况，并讲解存储、处理和管理大数据的技术架构，介绍 Hadoop 生态系统和 MapReduce 框架是如何支持大数据管理的，并结合企业需求，阐述大数据技术架构是如何高效地实现需求，以及如何灵活支持需求的变更。
授课大纲：
| 大数据基础 | 大数据简介 |
| 大数据的商业应用 | |
| 【实验】辨识大数据的商业应用 | |
| 大数据处理技术 | |
| 理解 Hadoop 生态系统 | |
| 【实验】本地安装Hadoop和Hive | |
| MapReduce 基础 | |
| 【实验】单节点安装Hbase | |
| 管理大数据生态系统 | 大数据技术基础 |
| 【实验】单节点安装 Pig | |
| 大数据管理系统——数据库和数据仓库 | |
| 【实验】安装 Apache Flume | |
| 分析大数据 | |
| 【实验】安装 Sqoop并连接到mysql | |
| 数据集成、实时数据和大数据实现 | |
| 【实验】安装 ZooKeeper | |
| 大数据解决方案和动态数据 | |
| 【实验】安装 MongoDB |
2、大数据进阶（上）必修
对大数据工程师来说，本门课程是非常核心的。将深入讲解 Hadoop、HBase 和 HDFS 的存储结构，细致练习 MapReduce 编程技能，精深学习 Hadoop 生态系统中的 Hive、Oozie 和 ZooKeeper 等工具。
授课大纲：
| 数据的保存和处理 | 在 Hadoop 中保存数据 |
| 【实验】管理 Hbase 表中的记录 | |
| 用 MapReduce 处理数据 | |
| 【实验】开发MapReduce程序 | |
| 个性化设置MapReduce执行 | |
| 【实验】在实践中应用Hadoop MapReduce | |
| 测试和调试 MapReduce程序 | |
| 【实验】在MapReduce中连接Hbase数据 | |
| 开发MapReduce WordCount程序 | |
| 【实验】运行WordCount—程序 | |
| 用 Hive、Pig和 Oozie 提高效率 | 探索 Hive |
| 【实验】熟悉Hive | |
| Hive高级查询 | |
| 【实验】使用Hive编写MapReduce程序 | |
| 用Pig分析数据 | |
| 【实验】运行Pig Grunt程序 | |
| 用Oozie做自动数据处理 | |
| 【实验】安装和配置 Oozie | |
| 使用 Oozie | |
| 创建 Oozie 工作流 |
3、大数据进阶（下）必修
本门课是 Wiley 大数据系列课程的进阶部分，将拓展您的视野，丰富您的武器库。首先会介绍更多的 Hadoop 工具，包括 ZooKeeper、Sqoop、Flume、YARN 和 Storm 等。然后讲解如何用 NoSQL 数据库处理无结构的大数据。接下来会介绍 Hadoop 的安全特性，如何在云端使用 Hadoop，和如何用 Hadoop 处理实时数据。最后会介绍若干种 Hadoop 的商业分发版。
授课大纲：
| 其它 Hadoop 工具：ZooKeeper、Sqoop、Flume、YARN 和 Storm | 用 ZooKeeper 调度分布式处理 |
| 【实验】配置Flume收集终端数据 | |
| 用Sqoop高效传输大量数据 | |
| 【实验】用Sqoop加载数据 | |
| Flume | |
| 【实验】配置Flume收集本地文件内容 | |
| 超越MapReduce——YARN | |
| 【实验】配置Flume收集微博数据到HDFS | |
| 在YARN上使用Storm | |
| 【实验】安装Storm | |
| 使用NoSQL和Hadoop：实时、安全和云 | Hello NoSQL |
| 【实验】安装和使用Cassandra | |
| 使用NoSQL | |
| 【实验】使用MongoDB | |
| Hadoop安全 | |
| 在AWS运行Hadoop应用 | |
| 实时Hadoop | |
| 用MapReduce实现WebCount | |
| 商用Hadoop分布与管理工具 | Cloudera基础与Cloudera管理 |
| 在Cloudera上使用Hive与Cloudera管理 | |
| Hortonworks与Greenplum Pivotal HD | |
| IBM InfoSphere BigInsights和MapR |
4、大数据开发必修
本章主要着重hadoop和hbase的实际应用开发及讲解，重点让同学们获得如何去开发和一定的开发实践。也会为大家对必要的知识进行讲解。
授课大纲：
| 大数据开发基础上 | HDFS原理介绍 |
| Hadoop开发实例 | |
| 【实验】编写hadoop应用代码 | |
| YARN原理介绍 | |
| MR原理介绍 | |
| mapreduce开发实例上 | |
| 【实验】编写mapreduce | |
| 大数据开发基础下 | Hbase原理介绍 |
| Hbase开发实例 | |
| 【实验】编写hbase应用代码 | |
| mapreduce开发实例中 | |
| 【实验】编写mapreduce | |
| 大数据开发进阶 | Hbase开发实例提高 |
| 【实验】编写hbase代码 | |
| mapreduce开发实例下 | |
| 【实验】编写mapreduce代码 | |
| HBase提高篇 | HBase bulkload代码讲解 |
| 【实验】HBase bulkload代码编写 | |
| Hbase过滤器讲解 | |
| 【实验】编写hbase代码 |
5、大数据实战必修
大数据实战着重hadoop和hbase企业级应用，开篇以hadoop高可用和hbase高可用的搭建来实战部署企业的hadoop平台和hbase平台，后面的章节会有两个小型的项目进行开发及讲解，并会介绍一些在企业中常用的工具。
授课大纲：
| 搭建hadoop2 HA | 搭建hadoop2 HA介绍 |
| 搭建hadoop2 HA上 | |
| 【实验】搭建hadoop2 HA | |
| 搭建hadoop2 HA下 | |
| 【实验】搭建hadoop2 HA | |
| 搭建企业Hbase | HBase搭建实战原理讲解 |
| 搭建企业Hbase 上 | |
| 【实验】搭建Hbase | |
| 搭建企业Hbase 下 | |
| 【实验】搭建Hbase | |
| Hadoop实战篇 | Hbase协处理器实战上 |
| 【实验】Hbase协处理器代码编写 | |
| Hbase协处理器实战下 | |
| 【实验】Hbase协处理器代码编写 | |
| Hbase二级索引 | |
| 【实验】二级索引代码编写 | |
| Mapreduce实战 | |
| 【实验】项目代码编写 |
：)
以上是关于网易微专业大数据工程师的主要内容，如果未能解决你的问题，请参考以下文章
就业|数据分析师大数据开发Hadoop开发工程师数据挖掘算法工程师的工资薪水到底怎么样？
笔记网易微专业-Web安全工程师-04.WEB安全实战-9.XSS