spark页面单跳转化率

Posted 2020-09-12 willian

1. 首页 - 列表页 - 商品页  （300万访问量 - 100万访问量 - 50万访问量 ）
2. 网站平台传入taskid和mysql查询出来的任务参数（日期和页面跳转流）

        页面跳转流解释：网站平台传入3，5，7，9（页面id） ，spark计算的就是 3 - 5 的转化率 5 - 7的转化率

 

   执行流程：

1. 获取日期范围参数
2. 查询日期范围内的用户访问行为数据
3. 获取用户访问行为中，每个session，计算出各个页面切片，页面单跳生成和页面流匹配的算法
4. 计算出符合页面流的各个切片的pv（访问量）
5. 针对用户制定的页面流，去计算各个页面单跳切片的转化率
6. 持久化database