大数据挖掘和分析技术实战- Hadoop/Mahout/MLlib/Storm/Docker

Posted 2021-04-13 中科院计算所姜源

随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。

本课程从大数据挖掘分析技术实战的角度，结合理论和实践，全方位地介绍基于Yarn的Mahout和基于Spark的MLlib等大数据挖掘工具的开发技巧。涉及的主题包括：大数据挖掘及其背景，Mahout和 MLlib大数据挖掘工具，推荐系统及电影推荐案例，分类技术及聚类分析，以及与流挖掘和Docker技术的结合，分析了大数据挖掘前景。

培训过程中提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题，并介绍了从大数据中挖掘出有价值的信息的关键。

本课程是针对问题讨论Mahout和 MLlib解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行探讨，在关键点上搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动大数据分析挖掘项目开发上升到一个新水平。具体事宜通知如下：

 

一、培训对象

1，系统架构师、系统分析师、高级程序员、资深开发人员。

2，牵涉到大数据处理的数据中心运行、规划、设计负责人。

3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。

4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

     5，对大数据的前沿技术非常感兴趣的人。

6，有志于成为一名数据科学家的从业人员。

7，有一定算法和编程基础的技术爱好者。

 

二、学员基础

1，对IT系统设计有一定的理论与实践经验。

2，数据仓库与数据挖掘处理有一定的基础知识。

3，对Hadoop/Yarn/Spark大数据技术有一定的了解。

 

三、师资

由业界知名大数据专家亲自授课：

杨老师   主要研究网络信息分析以及云计算相关技术，长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。

 

四、培训内容

第一讲 大数据挖掘及其背景

1) 大数据环境下的数据分析

2) 数据挖掘定义

3) Hadoop相关技术

4) 大数据挖掘知识点

 

第二讲 MapReduce/Spark DAG计算模式

1）分布式文件系统DFS

2）MapReduce计算模型介绍

3）使用MR进行算法设计

4）DAG及其算法设计

 

第三讲 大数据挖掘分析工具

1）Yarn中的Mahoutb介绍

2）Spark中的Mahout/MLib介绍

3）推荐系统及其Mahout实现方法

4）信息聚类及其MLlib实现方法

5）分类技术在Mahout/MLib中的实现方法

 

第四讲大数据推荐及其应用开发

1）一个推荐系统的模型

2）基于内容的推荐

3）协同过滤

4）基于Mahout的电影推荐案例

 

第五讲 大数据分类技术及其应用

1）分类的定义

2）分类主要算法

3）Mahout分类过程

4）评估指标以及评测

5）贝叶斯算法新闻分类实例

 

第六讲 大数据聚类技术及其应用

1）聚类的定义

2）聚类的主要算法

3）K-Means、Canopy及其应用示例

4）Fuzzy K-Means、Dirichlet及其应用示例

5）基于MLlib的新闻聚类实例

 

第七讲 大数据关联规则和相似项发现

1）购物篮模型

2）Apriori算法

3）抄袭文档发现

4）近邻搜索的应用

 

第八讲 流数据挖掘相关技术

1）流数据挖掘及分析

2）Storm和流数据处理模型

3）流处理中的数据抽样

4）流过滤和Bloom filter

 

第九讲 云环境下大数据挖掘应用

1）与Yarn/Spark集群应用的协作

2）与Docker等其它云工具配合

3）大数据挖掘行业应用展望

 

五、培训目标

1, 学习云环境下大数据分析挖掘的相关基础知识。

2，学习Mahout和MLlib的核心技术方法及应用。

3，了解云环境下大数据分析的使用流程和方法。

4, 掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。

 

六、时间、地点

时间： 2020年3月25日-3月27日              地点：北京

      

七、证书

培训结束，颁发中科院计算所职业培训中心“大数据挖掘和分析技术实战”结业证书。

 

八、费用

培训费：5900元/人（含教材、证书、午餐、学习用具等）。住宿协助安排，费用自理。

 

九、付款方式

名  称：北京市海淀区中科院计算所职业技能培训学校

开户行：北京银行中关村支行

帐  号：01090302900120105445661

 

 

 

 

 

主题词：大数据挖掘和分析  培训  通知

中科院计算所职业培训中心                                            2019年11月15日印

附件：

 

“大数据挖掘和分析技术实战”培训回执

 

单位名称	（盖章）
纳税人识别号	专票□ or 普票□
					邮编
网址					传真
联系人					email
学员代表					手机
学员姓名	性别	座机		手机		email

 

注：请尽早发送回执，我们将提前为您安排培训期间事宜。谢谢！

   

 

 

付款方式

名  称：北京市海淀区中科院计算所职业技能培训学校

开户行：北京银行中关村支行

帐  号：01090302900120105445661

 

地  址：北京海淀区科学院南路958号楼（100086）

联系人：姜  源 (13811399439微信同步）

电  话：010-68866114 E-mail：   [e-mail]