2018年最新大数据24期实战项目 9天 附课件源码

Posted 2020-11-07 52pg

课程目录：

第一天：

01.传统广告回顾
02.几个问题思考
03.广告的表现形式
04.名词解释
05.DSP原理图
06.DSP业务流程
07.DMP项目背景
08.DMP业务流程----重要
09.日志格式介绍
10.需求一日志转parquet文件

第二天：

01.工程包的创建
02.日志转parquet文件实现方式一----StructType
03.日志转换成parquet文件格式实现方式二---自定义类
04.统计各省市的数据量分布情况----结果输出成json
05.统计各省市的数据量分布情况----结果输出到mysql中
06.统计各省市的数据量分布情况----使用Spark算子的方式实现
07.地域分布需求

第三天：

00.Ambari介绍及项目打包上传
00.集群运行Job观察01
00.集群运行Job观察02
01.地域报表实现---Spark SQL
02.地域报表实现---Spark Core实现01
03.地域报表实现---Spark Core实现02
03.地域报表实现---读取原始日志文件
04.媒体报表需求
05.媒体报表实现---broadcast
06.媒体报表实现---改造---字典存入到redis
07.媒体报表实现---改造---将redis作为字典库
08.代码托管到git

第四天：

01.git创建分支--合并分支--切换分支--删除分支
02.上下文标签需求

第五天：

01.标签实现过程--step1
02.标签实现过程--step2
03.标签实现过程--step3
04.标签实现过程--step4
05.商圈标签实现思路

第六天：

01.经纬度知识库的建立-StepOne
02.经纬度知识库的建立-StepTwo
03.添加商圈标签
04.商圈标签bug解决
05.graph共同好友案例
06.graph解决用户当天标签合并

第七天：

01.案例聚合用户标签
02.案例聚合用户标签--代码实现
03.案例聚合用户标签--代码实现--测试
04.上下文标签数据合并
05.项目总结

第八天：

01.中国移动实时项目背景
02.项目整体业务架构图
03.flume节点及数据量分布
04.需求
05.日志字段说明
06.ScalikeJDBC介绍

第九天：

01.创建kafka -- topic
02.将数据对接到kafka
03.工程搭建--思路分析
04.代码实现-01---kafka偏移量有效性问题
05.代码实现-02---校验更新偏移量
06.代码实现--03--测试接收数据
07.代码实现--04---业务概况指标实现
08.代码实现--05---分区数据处理
09.代码实现--06---省市数据分布---每小时数据分布---每分钟数据分布
10.代码实现--07---偏移量有效性检验观察
11.Echarts展示
12.面试时的项目表述
13.面试问题补充


下载地址：

百度网盘下载