大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

Posted 2020-11-03

大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）
课程观看地址：http://www.xuetuwuyou.com/course/249
课程出自学途无忧网：http://www.xuetuwuyou.com
讲师：友凡

课程介绍
本套教程为真实的大数据实战案例，适合有大数据基础的学员学习，熟练掌握本套大数据案例，完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。

课程说明

本课程将通过一个真实的企业级云产品项目进行讲解，该项目是国内专业的移动应用统计分析平台，每天触达14亿活跃设备，每月覆盖80%以上新增手机消费者，几乎覆盖全部ios消费者，通过该项目系统帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据，以便开发商利用数据进行产品、运营、推广策略的决策。提供基本统计、活跃用户、使用频率、使用时长、页面访问、地域分析、版本分析、渠道分析、设备分析、操作系统、分辨率、运营商、联网方式、自定义事件分析、终端异常分析,流失用户分析等多种统计分析手段。

课程所用到的开发环境和用到的技术：
系统：window7，
开发工具是:eclipse，IDEA，
本课程项目是一个综合项目，技术涵盖java web，大数据，虚拟化，linux服务器等
具体包含： spring，spark，spark streaming，spark mlib，hive，flume,kafka,hadoop，hbase，mongodb，dubbo,分布式缓存，redis，docker，nginx,easyui，highcharts等等。
此课程是按照真实企业级开发项目流程进行讲解，通过学习此课程可以体会到真实的大型大数据项目开发流程，学完此课程可以熟练掌握大数据技术，java web技术，docker虚拟化技术，分布式技术，缓存技术，linux等

（一）项目总体需求分析
1.项目背景

在这个互联网爆发的时代，移动网络，移动设备逐渐成为人们的必备品，移动设备的用户已经达到几亿，可想而知，app必将流行起来，但是每一款app都要运营，达到盈利的目的，那么这个运营怎么做呢？要借助大数据的技术，准确分析用户的行为，这必将会有很大的需求。

2.项目需求

在这个互联网爆发的时代，移动网络，移动设备逐渐成为人们的必备品，移动设备的用户已经达到几亿，可想而知，app必将流行起来，但是每一款app都要运营，达到盈利的目的，那么这个运营怎么做呢，要借助大数据的技术，准确分析用户的行为，这必将会有很大的需求。急需一个系统帮助各大中小企业快速的分析app用户的行为，只需要接入提供的sdk，就可以轻松的了解用户的行为，享受大数据技术带来的时代变革。通过该产品可以了解到：app的应用趋势，app的渠道推广情况，用户留存情况，用户的行为分析，用户属性分析，应用错误分析，用户数据挖掘，并且需要实时去展示这些分析结果。

3.系统功能

可以查看该app的用户活跃度，每个时段的新增用户，app的终端使用分类情况，沉默用户，和忠诚用户的统计和查看等。

（二）项目架构设计及技术选型

1.项目整体架构设计

2.软件选型

（三）项目整体环境搭建

1.机器选型、节点规划等。

2.集群环境搭建

（四）相关项目内容

1.物理架构，逻辑架构

2.上报数据服务的设计与开发

3.实时处理数据的环境搭建和程序开发

4.日志收集系统设计

5.离线任务的设计和开发

6.高并发，缓存，虚拟化等