python爬虫之如何随机更换User-Agent

Posted 2020-12-28 黑色的削笔刀

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬虫之如何随机更换User-Agent相关的知识，希望对你有一定的参考价值。

这是python里面的一个useragent池，非常好用！具体怎么用呢？

首先，安装fake-useragent

pip install fake-useragent

然后，使用方法

from fake_useragent import UserAgent

ua = UserAgent()
headers = {‘User-Agent‘:ua.random}

注意，有些网站可能会根据user-agent来封IP，也就是说他们会根据同一个IP下，如果是很多个不同user-agent在访问，那么，此时，他们就会判定为爬虫

以上是关于python爬虫之如何随机更换User-Agent的主要内容，如果未能解决你的问题，请参考以下文章