Nginx搭配Node来构建统计系统

Posted 网页全栈开发者中心

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Nginx搭配Node来构建统计系统相关的知识,希望对你有一定的参考价值。

一.背景

一个互联网企业少不了对自身业务的数据访问量的监控和分析。统计行业,如今CNZZ和百度作为两大巨头,是第一优先选择。

但是这两方的覆盖面积太广,难免有时候会有些“疏漏”:

  • CNZZ和百度统计经常数据不一致

  • 经常出现数据缺失(比如对于站点根目录的PV,UV访问)

作为企业肯定是对于自身业务的数据是第一关注点,那么数据准确率和迭代速度就成为了优先选择。

二.统计系统v1.0.0

1.数据统计前端规则

这里主要是说日志收集和处理方向,统计规则我说了,反正就是围绕cookies和localStorage再添加各种限制展开。有兴趣的可以看我的repo=> Pure_statistics ,这里讲述了对PV和UV的收集规则。

2.日志收集和处理
  • 用静态资源作为“载体”

  • rsyslog解析并推送到mysql

这就是统计系统的雏形

不过久而久之就出现了瓶颈,rsyslog不灵活,迭代过程十分痛苦。

三.取其精华,去其糟粕

保留nginx处理静态资源访问的优势,用对字符串十分友好的Node来处理日志,解析字段。

虽然Nginx和Node都是基于事件驱动的服务模型,但是不得不承认Nginx对于静态访问的处理是优于Node的。

像普遍情况专门有一台NodeServer,在拓展业务上可以用Nginx做一个反向代理,实现动静分离,发挥其各自的优势。

进一步优化

nginx.conf

其实我们在处理日志的时候只需要去处理我们“载体”相关的日志,那么我们就得将统计日志和普通日志分离。

这里我介绍一种配置路由的方式来分离日志

  • 将你的载体放在某一个目录下,比如/tongji/

  • 利用location的普通字符匹配规则去匹配载体访问

  • 匹配后修改日志路径

 
   
   
 
  1. location ^~ /tongji/ {

  2. if ($time_iso8601 ~ "(\d{4})-(\d{2})-(\d{2})") {

  3. set $time $1$2$3;

  4. }

  5. access_log 路径马赛克/$time-access.log static;

  6. # static 规则按需配置.

  7. }

这样在解析日志的时候可以避免冗余日志,节约是美德呀~~~ 当然你还可以做很多事,比如匹配站点,避免非自己业务的访问干扰数据精确度等等

当然,如果你司足够壕,当我没说。

Node处理程序

剩下来的事情就是用Node去读日志了 createReadStream创建一个可读流交给 readline 逐行读取处理就行了,剩下的这就是javascript开发者的拿手戏了 => 字符串解析

请注意,node在处理大文件或者未知内存文件大小的时候千万不要使用readFile,会突破V8内存限制。
推荐使用stream + pipe去处理,其不受V8限制,如果不设计字符串的操作还可以纯粹用buffer去操作,当然此时便是受物理内存的限制了。
 
   
   
 
  1. const fs = require('fs');

  2. const url = require('url');

  3. const readline = require('readline');


  4. console.time('cost-time');

  5. const rl = readline.createInterface({

  6. input: fs.createReadStream('路径马赛克/20200221-access.log')

  7. });


  8. let arr = [];


  9. rl.on('line', (line) => {

  10. //你自己的业务逻辑

  11. });


  12. rl.on('close', () => {

  13. console.timeEnd('cost-time'); //假吧意思看个耗时

  14. });

以上是关于Nginx搭配Node来构建统计系统的主要内容,如果未能解决你的问题,请参考以下文章

nginx实验案例:安装,构建基于域名的虚拟主机,配置网站统计

nginx实验案例:安装,构建基于域名的虚拟主机,配置网站统计

c#代码片段快速构建代码

构建一个可以统计 qps 的nginx服务的Dockerfile

手把手教你,使用 Nginx 搭配 Tomcat 实现负载均衡!

Nginx搭配Tomcat实现负载均衡