scrapy实践之中间件的使用

Posted 2021-04-10 生信修炼手册

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy实践之中间件的使用相关的知识，希望对你有一定的参考价值。

欢迎关注”生信修炼手册”!

在scrapy框架中，Downloader Middlewares 称之为下载中间件，可以对爬虫的requests请求进行封装处理，典型的应用有以下3种

1. 添加用户代理

所有的中间件代码都保存在middlewares.py文件中，通过自定义类的形式来创建一个中间件，代码如下

from faker import Faker
class UserAgentMiddleware(object):

    def process_request(self, request, spider):
        f = Faker()
        agent = f.chrome()
        request.headers['User-Agent'] = agent

只需要重写process_request方法即可。

2. 添加IP代理

IP代理也是通用的实现方式，代码如下

class ProxyMiddleware(object):

    PROXIES = [
        'https://36.249.118.13:9999',
        'https://175.44.108.65:9999',
        'http://117.69.12.82:9999']

    def process_request(self, request, spider):
        proxy = random.choice('PROXIES')
        request.meta['proxy'] = proxy

3. 集成selenium

在scrapy中集成selenium，可以进一步提高爬虫的处理范围，代码如下

from selenium import webdriver
from scrapy.http import htmlResponse
class SeleniumMiddleware(object):

    def __init__(self):
        options = webdriver.ChromeOptions()
        options.add_argument('--headless')
        self.driver = webdriver.Chrome(chrome_options=options, executable_path='C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe')

    def __del__(self):
        self.driver.close()

    def process_request(self, request, spider):
        self.driver.get(request.url)
        return HtmlResponse(url=request.url, body=self.driver.page_source, request=request, encoding='utf-8',
                                status=200)

定义好中间件之后，必须在settings.py中进行启动才可以，代码示例如下

DOWNLOADER_MIDDLEWARES = {
   'hello_world.middlewares.UserAgentMiddleware': 543,
   'hello_world.middlewares.SeleniumMiddleware': 600,
}

通过中间件，我们可以对requests请求进行加工处理，方便的进行扩展，最后记得用在settings中启动中间件即可。

·end·

—如果喜欢，快分享给你的朋友们吧—

原创不易，欢迎收藏，点赞，转发！生信知识浩瀚如海，在生信学习的道路上，让我们一起并肩作战！

本公众号深耕耘生信领域多年，具有丰富的数据分析经验，致力于提供真正有价值的数据分析服务，擅长个性化分析，欢迎有需要的老师和同学前来咨询。