开发环境配置-存储库Web库App爬取相关库

Posted 2020-11-10 mr-chenshuai

一、python存储库安装

1、PyMySQL

python3借助Pymysql来操作MySQL数据库

pip3 install pymysql

 

2、PyMongo

python3借助PyMongo来操作MongoDB数据库

pip3 install pymongo

 

3、redis-py

python3借助redis-py操作Redis

pip3 install redis

安装完成后，即安装了redis-py

 

4、RedisDump

用于Redis数据导入导出的工具，基于Ruby实现，所以需要先安装Ruby

Ruby下载安装：

https://www.ruby-lang.org/zh_cn/downloads/

安装好Ruby，使用gem命令，相当于python的pip

gem install redis-dump

 

二、安装Web库

1、Flask

轻量级web服务程序，简单、易用、灵活

pip3 install flask

 

2、Tornado

支持异步的Web框架，通过使用非阻塞I/O流，可以支撑成千上万的开放连接，效率非常高

 pip3 install tornado

 

三、App爬取相关库

1、Charles

抓包工具，相比Fiddler其功能更强大

下载地址：

https://www.charlesproxy.com/download

破解地址：

https://www.zzzmode.com/mytools/charles/

 

2、mitmproxy

一个支持HTTP和HTTPS的抓包程序，类似Fiddler和Charls，只不过是通过控制台操作

mitmproxy还有俩关联组件：

mitmdump：它是mitmproxy的命令行接口，可以用来对接python脚本，实现监听后的处理

mitmweb：是一个web程序，可以用它清除的观察mitmproxy捕获的请求

pip3 install mitmproxy

 

3、Appium

移动端的自动化测试工具，类似selenium，可以用它驱动android、ios等设备

下载地址：

https://github.com/appium/appium-desktop/releases