网络请求 selenium
Posted guozepingboke
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了网络请求 selenium相关的知识，希望对你有一定的参考价值。
网络请求 selenium
部分流程：
第一：爬虫引擎生成requests请求，送往scheduler调度模块，进入等待队列，等待调度。
第二：scheduler模块开始调度这些requests，出队，发往爬虫引擎。
第三：爬虫引擎将这些requests送到下载中间件（多个，例如加header，代理，自定义等等）进行处理。
第四：处理完之后，送往Downloader模块进行下载。
从这个处理过程来看，突破口就在下载中间件部分，用selenium直接处理掉request请
以上是关于网络请求 selenium的主要内容，如果未能解决你的问题，请参考以下文章
使用 Selenium 捕获网络 XHR 日志（带有参数的请求/响应）