《python3网络爬虫开发实战》--模拟登陆

Posted 2021-01-13 成成啊亲

1.cookies池的搭建

Cookies池需要有自动生成 Cookies、定时检测 Cookies、提供随机 Cookies等几大核心功能。

Cookies 池架构的基本模块分为 4 块:存储模块 、 生成模块、检测模块和接口模块 。 每个模块的

功能如下 。

• 存储模块负责存储每个账号的用户名密码以及每个账号对应的 Cookies 信息，同时还需要提供一些方法来实现方便的存取操作 。
• 生成模块负责生成新的 Cookies。 此模块会从存储模块逐个拿取账号的用户名和密码， 然后模拟登录目标页面，判断登录成功，就将 Cookies返回并交给存储模块存储。
• 检测模块需要定时检测数据库中的 Cookies。 在这里我们需要设置一个检测链接，不同的站点检测链接不同，检测模块会逐个拿取账号对应的 Cookies 去请求链接，如果返回的状态是有效的，那么此 Cookies 没有失效，否则 Cookies 失效并移除 。 接下来等待生成模块重新生成即可。
• 接口模块需要用 API来提供对外服务的接口 。 由于可用的 Cookies可能有多个 ， 我们可以 随机返回 Cookies的接口，这样保证每个 Cookies都有可能被取到 。 Cookies越多 ， 每个 Cookies被取到的概率就会越小，从而减少被封号的风险 。

2.cookies池的实现