HTTP自定义流量

Posted yinqanne

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HTTP自定义流量相关的知识,希望对你有一定的参考价值。

新上线服务:search-bizer-directjump

一、压测数据准备

1、由于是新服务,没有线上流量,所以自己构造

(1)登录机器search-bizer-directjump01.beta

beta机器上流量较少,不适用,由于在搜索时,直跳服务与autocomplete服务会被同时调用,故可以抓取autocomplete的请求,进行修改

(2)登录autocomplete的线上机器:search-bizer-autocomplete01.xh

进入/data/webapps/autocomplete_bizer/current/logs/目录下抓去请求

awk -F ‘[ ]‘ ‘{print $4}‘ query.log.2018-05-30.13 >/tmp/autocomplete_query.log

注意:可以适当多抓取一些请求

(3)将抓取的autocomplete的请求与directjump的beta机器上的请求相比较

directjump:

query=term(cityid,1),prefix(keyword,%E6%9C%9D%E6%97%A5),term(datatype,1)&limit=0,1&info=app:mobile-suggestapi-web,user_lng:121.39210,clientip:10.72.194.85,dpid:-2696880930084626777,user_lat:31.17257,platform:MAPI,queryid:0b18ca0b-deaf-4319-8d6e-c57fa161b449

autocomplete:
query=term(channelid,0),term(cityid,1),prefix(keyword,%E7%9B%B1%E7%9C%99%E5%AE%8B%E6%B0%8F%E9%BE%99%E8%99%BE)&limit=0,25&info=user_lat:31.27225,app:shop_mobile_advanced,platform:MAPI,module:mainapp,client:android,clientip:10.69.161.200,queryid:b1db48a6-e3f8-4f20-a3ef-839a2462feeb,user_ip:58.243.254.229,locatecityid:1,user_agent:MApi+1.2+%28com.dianping.v1+10.1.9+oppo+OPPO_R9sk%3B+Android+6.0.1%29,dpid:6309150210266450998,user_id:57117516,user_lng:121.59115,client_version:10.1.9

截取prefix字段:

$ grep -oE "prefix(.*)" autocomplete_query.log > prefix.log

 

将截取的内容进行拼接,修改之后:query.log

query=term(cityid,1),prefix(keyword,%E7%9B%B1%E7%9C%99%E5%AE%8B%E6%B0%8F%E9%BE%99%E8%99%BE),term(datatype,1)&limit=0,1&info=app:mobile-suggestapi-web,user_lng:121.39210,clientip:10.72.194.85,dpid:-2696880930084626777,user_lat:31.17257,platform:MAPI,queryid:0b18ca0b-deaf-4319-8d6e-c57fa161b449

(4)将请求修改为CSV格式

  • 在query前后添加双引号:

sed -i ‘s/^/"/g‘ query.log

sed -i ‘s/$/"/g‘ query.log

或者直接vi操作:

行首 :%s/^/"/

行尾 :%s/$/"/

  • 在首行添加内容query

  • 将文件query.log重命名为directjump_query.csv

rm query.log directjump_query.csv

最后在quake上传的csv格式的数据如下:

技术分享图片技术分享图片?

 

二、Quake配置设置

技术分享图片技术分享图片?

技术分享图片技术分享图片?

初步设置:

技术分享图片技术分享图片?

观察各个指标后可以动态调整

tip:动态调整之后不能直接构建了,需要选择递增!


以上是关于HTTP自定义流量的主要内容,如果未能解决你的问题,请参考以下文章

自定义zabbix脚本--网卡平均流量

zabbix-自定义键值监控网卡INOUT流量

zabbix自定义监控,监控网卡信息

网站流量日志数据自定义采集实现

网关开发5.Openresty 自定义负载均衡与流量转发

mysql 总结二(自定义存储过程)