通过用户日志分析理解数据处理流程
Posted bqwzy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了通过用户日志分析理解数据处理流程相关的知识，希望对你有一定的参考价值。
注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6625473586012357123/
用户的操作日志
系统界面
查看日志信息
进入到/usr/local/resin/log查看access_log
我们把文件下载到本地查看
每一行就是一条数据，是用户访问的一条记录，我们以一条数据为准
看到这些数据我们应该知道：
1、应用系统的web服务器（数据来源）
2、每个字段的名称和含义（数据意义）
因为例子我们已经知道是nginx服务器，如果实际情况中一定要弄清楚数据字段的含义。
那么我们来查看nginx服务器的配置：
查看配置：/etc/nginx/nginx.conf
其中的配置信息
我们变化一下，可以看到有下面的字段
结合之前的数据和字段内容我们得到：
日志数据字段我们弄清楚之后，我们就要对日志文件进行处理了。
日志文件很多时候不能保证正好是如此的，即数据不符合我们的要求，例如：缺少某个字段、时间格式转换等。确保数据质量，数据质量差会出现很多问题，比如空指针异常，这就需要清洗原始数据成为我们需要的。比较常用的MapReduce、hive。比如我们的需要有以下的几种（里面的情况可以上网去查询下用途，这里提供个思路）
那我们总结下基本的数据处理流程：
?
以上是关于通过用户日志分析理解数据处理流程的主要内容，如果未能解决你的问题，请参考以下文章