大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)相关的知识,希望对你有一定的参考价值。

大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)
课程观看地址:http://www.xuetuwuyou.com/course/249
课程出自学途无忧网:http://www.xuetuwuyou.com
讲师:友凡

课程介绍
本套教程为真实的大数据实战案例,适合有大数据基础的学员学习,熟练掌握本套大数据案例,完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。

课程说明

本课程将通过一个真实的企业级云产品项目进行讲解,该项目是国内专业的移动应用统计分析平台,每天触达14亿活跃设备,每月覆盖80%以上新增手机消费者,几乎覆盖全部ios消费者,通过该项目系统帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据,以便开发商利用数据进行产品、运营、推广策略的决策。提供基本统计、活跃用户、使用频率、使用时长、页面访问、地域分析、版本分析、渠道分析、设备分析、操作系统、分辨率、运营商、联网方式、自定义事件分析、终端异常分析,流失用户分析等多种统计分析手段。

课程所用到的开发环境和用到的技术:
系统:window7,
开发工具是:eclipse,IDEA,
本课程项目是一个综合项目,技术涵盖java web,大数据,虚拟化,linux服务器等
具体包含: spring,spark,spark streaming,spark mlib,hive,flume,kafka,hadoop,hbase,mongodb,dubbo,分布式缓存,redis,docker,nginx,easyui,highcharts等等。
此课程是按照真实企业级开发项目流程进行讲解,通过学习此课程可以体会到真实的大型大数据项目开发流程,学完此课程可以熟练掌握大数据技术,java web技术,docker虚拟化技术,分布式技术,缓存技术,linux等

(一)项目总体需求分析
1.项目背景

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢?要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。

2.项目需求

在这个互联网爆发的时代,移动网络,移动设备逐渐成为人们的必备品,移动设备的用户已经达到几亿,可想而知,app必将流行起来,但是每一款app都要运营,达到盈利的目的,那么这个运营怎么做呢,要借助大数据的技术,准确分析用户的行为,这必将会有很大的需求。急需一个系统帮助各大中小企业快速的分析app用户的行为,只需要接入提供的sdk,就可以轻松的了解用户的行为,享受大数据技术带来的时代变革。通过该产品可以了解到:app的应用趋势,app的渠道推广情况,用户留存情况,用户的行为分析,用户属性分析,应用错误分析,用户数据挖掘,并且需要实时去展示这些分析结果。

3.系统功能

可以查看该app的用户活跃度,每个时段的新增用户,app的终端使用分类情况,沉默用户,和忠诚用户的统计和查看等。

(二)项目架构设计及技术选型

1.项目整体架构设计

2.软件选型

(三)项目整体环境搭建

1.机器选型、节点规划等。

2.集群环境搭建

(四)相关项目内容

1.物理架构,逻辑架构

2.上报数据服务的设计与开发

3.实时处理数据的环境搭建和程序开发

4.日志收集系统设计

5.离线任务的设计和开发

6.高并发,缓存,虚拟化等

以上是关于大型企业级云产品-数据统计分析系统(离线处理-流处理-批处理)的主要内容,如果未能解决你的问题,请参考以下文章

ACA - 大数据开发套件 DataIDE

互联网分布式微服务云平台规划分析--平台整体规划

互联网分布式微服务云平台规划分析--系统管理平台

互联网分布式微服务云平台规划分析--系统管理平台

互联网分布式微服务云平台规划分析--系统管理平台

企业的数据存储处理与分析之道