大数据反爬项目Lua+Spark+Redis+Hadoop框架搭建

Posted 2021-04-10 IT教学资源共享平台

很多订票网站的官网在互联网提供查询、预订等服务，如：各种航空公司的官网、去哪网、携程等，有大量正常用户访问的同时，也存在大量爬虫。爬虫消耗了系统资源，但是却没有转化成销量，导致系统资源虚耗，严重时会造成系统波动，影响正常用户访问购票。大量热门路线的好车次和航线的特价舱位吸引正常用户通过官网订票的同时，也存在大量恶意占座的非法代理（黄牛）。通过不断的订座但不支付，利用这些虚占的座位进行非法盈利，通过系统日志分析等，发现官网存在大量的非法占座会员及非会员手机号用户。为了限制伪装技术越来越强的爬虫访问和恶意占座行为，需要开发大数据防爬工具。项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。

课程截图：

链接：https://pan.baidu.com/s/1B7mOtO6M3wDs3rWHQsftGQ

提取码：8v8r