3.8 Spark 用户日志分析

Posted 2022-03-30 炫云云

文章目录

• 网站流量指标
• 为什么要分析日志
• 用户行为日志
• Spark 日志分析
• 日志挖掘的方法
• • 路径分析
  • 关联规则
  • 序列模式
  • 分类分析
  • 聚类分析
  • 统计
  • 协同过滤
  • 参考

3.7 Spark RDD编程

本文讨论的日志处理方法中的日志，仅指用户访问日志。其实并没有精确的定义，可能包括但不限于各种Web、APP服务器——apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。

网站流量指标

• IP： 一天之内访问网站的不重复IP数。一天内相同IP地址多次访问网站只被计算一次。曾经IP指标可以用来表示用户访问身份，目前则更多的用来获取访问者的