关于爬数据的一点点事情

Posted 2020-09-28

由于项目需要，最近需要从网上爬数据，也因此对爬数据这一块进行了一些了解。

关于爬虫，主要说说在实验过程中几个重要的点

1.伪装浏览器访问

 

一开始没注意这个问题，导致多次访问不是很顺畅，有时候需要等待好久。作为一个纯真的小男孩，初始代码非常简单，就像下面这样直接建立连接，然后获得对应url的内容。

s = requests.Session()
connection = s.get(url)

后来，发现了上面所说的问题后，上网相关搜索了一下，对原有“纯真”的代码进行了改造，加了浏览器的一些元素，让代码在外部看起来更像人为正常的浏览器访问，而不是一个爬虫。具体改造如下

s = requests.Session()
connection = s.get(url, headers={
                    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
                })

也就是加了headers中user-agent这个元素而已。具体user-agent可以从浏览器中的任意网页-->右键（检查）-->Network-->刷新-->选中一个js文件（中可以查看对应的request header），然后复制过来即可。

探索着，觉得爬虫好像也挺有意思的。