Hadoop离线项目介绍（不包括程序）
Posted 曹军
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop离线项目介绍（不包括程序）相关的知识，希望对你有一定的参考价值。
一：项目场景
1.需求分析
根据用户行为数据进行程序的处理，得到结果保存到关系型数据库中
需要收集用户(系统使用者)在不同客户端上产生的用户行为数据，最终保存到hdfs上
需要明确收集字段的相关信息，而且需要考虑到后期的新需求的提出
总：收集不同客户端的用户行为数据，通过mr、hive进行数据分析处理，将分析结果数据保存到关系型数据库中
2.场景一
二：核心关注点
1.核心关注点
购买率
购买的人数/总人数 购买的人数/查看该商品的总人数
复购率
n次购买的人数 / n-1次购买的人数(n>=2)
订单数量、订单金额、订单的类型
成功订单数量、成功订单金额、成功订单的类型
退款订单数量、退款订单金额、退款订单的类型
访客/会员数量
访客转会员的比率
SEM效果(广告推广效果)
网站内容相关的一个分析(网站的跳出率、页面的跳出率)
三：重要概念
1.访客
标示访问网站指定用户、一般称为自然人
区分PC，手机：
）PC：
采用IP地址区分访客。由于NAT、代理等等,面临一个问题：一个IP地址对应多个访客， 但是实现简单
采用客户端种植cookie的方式，当用户第一次访问系统的时候，在客户端的cookie中保存一个唯一uuid标识符，将过期时间设置为10年
）手机
采用设备的固定识别码，比如：IMEI、MEID.....
如果设备是比较差的，或者进行过刷机操作，这些识别码可能会出现误差，多个设备对应一个识别码
类似于pc端的种植cookie的方式，在用户第一次访问系统的时候，在磁盘中写入一个唯一标识符
指标：
）新增访客：第一次访问系统的访客数量
）活跃访客数量：统计的是给定时间段内访问过系统的访客数量(老访客+新访客)
）总访客数量：迄今为止，访问过系统的访客总数量
）流失访客数量：上一个时间段内访问过系统，但是当前时间段内没有访问系统的访客数量
）回流访客数量：上一个时间段内没有访问过系统，但是当前时间段内访问过系统的访客数量
2.会员
指业务系统中注册用户、直接使用业务系统中会员标识符id来表示
标示当访问者登录我们的系统后，就成为一个会员，但是此时该访问者还是访客
统计指标：
）新增会员：第一次登录系统的会员数量
）活跃会员数量：统计的是给定时间段内登录过系统的会员数量(老会员+新会员)
）总会员数量: 迄今为止，新增会员数量的总和
）回流会员
）流失会员
）访客转会员比率
）新增访客转会员的比率
3.会话（案例在下面）
用户进入到系统到离开系统这一段时间被成为会话，这段时间的会话时间长度就叫做会话长度，一个会话中的所有操作都属于同一个会话
区分会话
）PC端：
采用浏览器的session机制(SessionStorage、Cookie Session)
在cookie中存储一个操作时间，在操作的时候，进行判断时间是否过期，如果过期，产生一个新的会话，如果没有过期，更新操作时间
）移动端：
采用移动端的session机制
类似pc端种植cookie的方式，在磁盘中写入一个时间进行判断
指标：
会话长度
会话数量
跳出会话的数量：在一个会话中，只访问过一次网站的会话数量
4.跳出率
指标：
会话跳出率：跳出会话/总会话数量
页面跳出率
从该页面离开后，进入到其他页面的会话数量占进入该页面会话数量的百分比
-1. 离开系统的会话数量 / 进入该页面的会话数量
-2. 进入详情页面的会话数量 / 进入该页面的会话数量
5.外链
不同外链带来的会话数量/访客数量/订单数量
6.pv
7.uv
8.独立IP
9.DEPth view
访问深度，访问了多少页面
统计的是各个不同访问深度中的访客/会话数量
DV展示的是一个网站内容整体上对用户的吸引程度，结合跳出率，能够更改的修改网站内容，增加网站的黏性，增加网站的友好性
四：维度
操作系统维度: 操作系统名称、操作系统版本
语言维度：
外链维度：百度、360、google等等
支付方式维度：alipay、weixin、银行卡支付....
货币类型维度：
商铺维度
版本维度： 比如v1, v2等等，一般用于多个版本之间进行数据比较(AB测试)
以及：
五：分析
维度+核心点+重要概念
六：项目结构
1.整体
）用户数据基本分析模块
）浏览器分析模块
）地域分析模块
）外链分析模块
）用户浏览深度分析模块
）事件分析模块
）订单分析模块
2.用户基本数据
3.浏览器分析
4.地域分析
5.用户深度分析
6.外链分析
7.订单分析
8.事件分析
以上是关于Hadoop离线项目介绍（不包括程序）的主要内容，如果未能解决你的问题，请参考以下文章