scrapydweb：实现 Scrapyd 服务器集群监控和交互，Scrapy 日志分析和可视化

Posted 2021-01-10 my8100

功能特性

• Scrapyd 服务器集群监控和交互

  • 支持通过分组和过滤选中特定服务器节点
  • 一次点击，批量执行

• Scrapy 日志分析

  • 统计信息展示
  • 爬虫进度可视化
  • 关键日志分类

• 支持所有 Scrapyd API

  • Deploy project, Run Spider, Stop job
  • List projects/versions/spiders/running_jobs
  • Delete version/project

GitHub

scrapydweb

欢迎 Star 和提交 Issue

安装

通过 pip 安装：

pip install scrapydweb

启动

通过命令行终端运行 "scrapydweb -h" 以查看帮助和选项. 第一次运行将在当前工作目录生成配置文件 "scrapydweb_settings.py"，可用于自定义 Scrapyd 服务器列表等选项.

scrapydweb

 

通过浏览器访问 http://127.0.0.1:5000

运行界面截图

• 集群监控和交互

   

• 当前节点任务列表

  
  

   

• 日志分析

  • 统计信息输出

    
    

     

  • 爬虫进度可视化

    
    

     

  • 关键日志分类

    
    

     

• 部署项目

  
  

   

• 运行爬虫

  
  

   

• 管理项目