centos6.8+openresty+lua实现埋点数据收集

Posted 2022-11-16 yangzongzhuan

 

一、项目背景

公司决定对多个系统多个客户端的用户行为进行收集，考虑到数据量和并发数都可能过高，所以决定采用标题这一技术组合来实现，第一次搞这个，记录一下操作过程以及遇到的坑，下面是具体的操作步骤。

二、使用步骤

1.安装openresty

此步骤参考地址如下：

https://blog.csdn.net/lupengfei1009/article/details/86062644

安装了openresty就不需要单独安装nginx了，先安装openresty仓库。

1.yum install yum-utils
2.yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo

再使用云安装openresty软件

1.yum install openresty

安装 openresty-resty 包

1.yum install openresty-resty

安装完毕后，进入默认安装目录启动nginx

1. cd /usr/local/openresty/nginx/sbin

2. ./nginx

启动后在浏览器输入你的服务器ip地址，即可得到如下界面，表示已经安装成功了，这里要注意的是，80端口不能被其他进程占用

2.编写LUA脚本

lua脚本必须要放在openresty的lualib目录下，其他引入的扩展脚本也是如此，步骤如下：

进入lualib目录，并创建自定义文件夹

1. cd /usr/local/openresty/lualib/

2. mkdir datalua

开始编辑lua脚本，也可以在windows编写好了上传

1. vim datalua.lua

这里主要是接收客户端的http请求过来的数据，统一要求使用post+json的方式传输数据，所以需要解析body中的json数据，脚本内容如下：

local args=nil -- 加载json模块 local cjson = require("cjson") --获取前端的请求方式 local request_method = ngx.var.request_method -- 获取请求数据 if"GET" == request_method then         args = ngx.req.get_uri_args() elseif "POST" == request_method then         -- 读取body消息体         ngx.req.read_body()         args = ngx.req.get_body_data()         -- 获取头部参数         local headers = ngx.req.get_headers()         -- 循环解析头部参数         for k, v in pairs(headers) do               ngx.say(k.."-"..v)         end           -- 将body中的数据序列化为json数据         local bodyData = cjson.decode(args)         -- 获取某个具体的参数值         local value = bodyData["参数名"]         -- 将json转为jsonstring         local message = cjson.encode(bodyData)         ngx.say(message) end

 

编写好以后保存退出

ctrl+c,:,wq,回车

这时候需要修改nginx的配置

1.在server中增加如下配置

default_type  'applicaiton/json;charset=utf8';
charset utf-8; // 防止中文乱码

// 这是我们刚刚编写好的lua脚本地址，以及访问地址

location /datalua
      default_type text/html;
      content_by_lua_file /usr/local/openresty/lualib/datalua/datalua.lua;

修改完毕保存退出即可

重启nginx后在浏览器中输入请求地址，便可以看到效果

1.cd /usr/local/openresty/nginx/sbin/

2. ./nginx -s reload

浏览器输入http://公网ip/datalua

到这里openresty+lua就可以完成数据的接收了，下面使用ab进行压测 看看并发数的上限是多少，压测前需要安装ab工具

1.yum -y install httpd-tools

查看ab版本
1.ab -v

开始1W并发
ab -c 10000 -n 100000 127.0.0.1/datalua
注:10000个并发，一共请求10万次

在压测过程中，发现只要并发数超过1000，失败率就嗖嗖的往上涨，根本不能到达性能要求，参考了不少资料以后，发现问题是出在nginx身上，所以这里需要重新修改nginx配置。

修改的参数如下：

1.worker_processes  2;//这个参数表示nginx工作进程数，设置为机器核数即可

2.worker_cpu_affinity 0001 0010; // 增加这个参数

3.在events中增加或修改如下

events
    use epoll;  //使用epoll模式进行IO
    worker_connections 65535;//每个进程的最大连接数

再次进行ab压测，并发数20000都已经不是问题

 

---

总结

下一章记录对数据的详细处理，包括校验和存储等！