1024专属视频 |基于阿里云搭建数据仓库

Posted 2021-04-24 尚硅谷教育

该项目由阿里云大学和尚硅谷联合打造。

项目教程以国内电商巨头实际业务应用场景为依托，以阿里云ECS服务器为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商数仓的常见实战指标进行了详尽讲解，让你获取最前沿的技术经验！

项目架构

版本框架：Flume、DateHub、DataWorks、MaxCompute、mysql以及QuickBI等。

• Flume：大数据领域被广泛运用的日志采集框架；

• DateHub：类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用，同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作；

• MaxCompute：是阿巴巴主研发的海量数据处理平台，主要提供数据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案；

• DataWorks：是基于MaxCompute计算引擎，从工作室、车间到工具集都齐备的一站式大数据工厂，它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作；

• QuickBI & DataV：专为云上用户量身打造的新一代智能BI服务平台。

项目场景

数仓项目广泛应用于大数据领域，该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域。

项目特色

本课程结合国内多家企业实际项目经验，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建基于阿里云服务器的大数据集群。

采用阿里云ECS服务器作为数据平台，搭建高可用的、高可靠的Flume数据采集通道，运用阿里云DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理，采用MaxCompute作为处理海量数据的方案，将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。

教程目录

01.阿里云大学_项目课程简介

02.阿里云大学_数据仓库概念

03.项目需求及架构设计_项目需求分析

04.项目需求及架构设计_阿里云计算框架

05.项目需求及架构设计_项目技术选型

06.项目需求及架构设计_系统数据流程设计

07.项目需求及架构设计_服务器选型

08.项目需求及架构设计_集群规模及购买服务器建议

09.数据生成模块_埋点数据基本格式

10.数据生成模块_事件日志数据

11.数据生成模块_数据生成脚本

12.数据采集模块_注册购买ECS云服务器

13.数据采集模块_配置防火墙

14.数据采集模块_ECS配置升级

15.数据采集模块_阿里云服务器连接

16.数据采集模块_配置主机名称映射

17.数据采集模块_创建普通用户atguigu

18.数据采集模块_集群分发脚本xsync

19.数据采集模块_配置SSH无密登录

20.数据采集模块_集群整体操作脚本

21.数据采集模块_JDK安装

22.数据采集模块_日志生成

23.数据采集模块_Flume安装及使用

24.数据采集模块_DataHub简介

25.数据采集模块_创建DataHub与Topic

26.数据采集模块_Flume推送数据到DataHub

27.数据采集模块_DataWorks和MaxCompute简介

28.数据采集模块_创建工作空间

29.用户行为数仓搭建_数仓分层概念

30.用户行为数仓搭建_数仓分层配置

31.用户行为数仓搭建_原始数据层（ODS层）

32.用户行为数仓搭建_DataHub推送数据到MaxCompute

33.用户行为数仓搭建_dwd层日志格式分析

34.用户行为数仓搭建_自定义UDTF

35.用户行为数仓搭建_DWD层建表（启动日志表）

36.用户行为数仓搭建_手动将ODS层数据导入DWD层

37.用户行为数仓搭建_DWD层数据导入脚本

38.用户行为数仓搭建_手动将DWD层数据导入DWS层

39.用户行为数仓搭建_DWS层数据导入脚本

40.用户行为数仓搭建_ADS层脚本及日活需求：全流程业务调度

41.业务数仓理论_表的分类

42.业务数仓理论_表的同步策略

43.业务数仓搭建_业务数仓架构图

44.业务数仓搭建_RDS服务器准备

45.业务数仓搭建_创建业务数据库及表

46.业务数仓搭建_ODS层数据表创建

47.业务数仓搭建_建立数据同步节点

48.业务数仓搭建_每日全量表同步

49.业务数仓搭建_每日增量表同步

50.业务数仓搭建_每日新增及变化表同步

51.业务数仓搭建_ODS层调度

52.业务数仓搭建_DWD层建表语句

53.业务数仓搭建_手动将数据导入DWD层

54.业务数仓搭建_DWD层数据导入脚本

55.业务数仓搭建_DWS层建表及脚本编写

56.业务数仓搭建_ADS层建表及手动导入数据

57.业务数仓搭建_作业调度

58.业务数仓搭建_作业调度执行

59.数据导出与作业调度_创建商品销售数据同步节点

60.数据导出与作业调度_创建同步节点及作业调度

61.数据导出与作业调度.业务数仓全流程作业调度

62.数据可视化_DataV简介

63.数据可视化_购买QuickBI

64.数据可视化_各个渠道日活占比图_配置数据源

65.数据可视化_各个渠道日活占比图_配置数据集

66.数据可视化_各个渠道日活占比图_配置饼图仪表盘

67.数据可视化_地区销售额分析

68.数据可视化_年龄段销售额占比分析

69.数据可视化_热门商品分析

70.数据可视化_分享仪表盘

71.数据可视化_数据门户（高级版）简介

72.协同工作_RAM管理界面

73.协同工作_RAM账号如何登录

74.阿里云大学_项目总结

获取《基于阿里云搭建数据仓库》全套视频教程，请关注尚硅谷教育1024程序员狂欢节活动，猛击文章左下角“阅读原文”了解详情！

扫码关注

有趣的灵魂在等你