python 爬虫如何实现cnki 的自动ip登录

Posted 2023-04-20

自己做个代理服务器。例如618爬虫代理，再指向次一级代理。或者是直接让爬虫通过http proxy的参数设置去先把一个代理。 代理池通常是租来的，或者是扫描出来的。扫描出来的往往大部分都不可用。 爬虫的实现有几百种方案。通常建议直接从SCRAPY入手。 参考技术A 只要能突破ip来路限制就行了，你下载个“618IP代理”软件即可。
618IP代理软件具有代理ip，自动换ip访问网站的功能。 参考技术B 这种卖数据的网站有各种反爬虫的，你先找简单的网站修炼。本回答被提问者采纳

Python爬虫实战：模拟登录淘宝网站

前言

在完成爬虫任务的时候，我们总是会遇到用户账号登陆的问题，如果自己手动登陆的话，那么工作量就很大了，如何解决登陆问题呢？

今天老师带领大家使用selenium完成淘宝账号登陆

本篇文章知识点：

• selenium自动化测试框架的基本使用
• 通过xpath寻找相应组件并自动化操作

环境介绍：

• python 3.6
• pycharm
• selenium
• requests

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

 

可以免费领取源码、项目实战视频、PDF文件等

 

导入工具

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from 淘宝登录.settings import USERNAME, PASSWORD

代码：

 

实现效果：

因为爬多了，所以扫码的必须要手动才行，其他的都是全自动