爬取动态网页中关于构造浏览器头的注意事项

Posted 2020-12-25 qian-lu

在原来爬取动态网页图片中，获取到了图片的实际地址，但是下载下来的图片是损坏的，究其原因，是服务器端阻止了访问，但是观察发现

headers = {‘User-Agent‘: random.choice(UserAgent_List),
           ‘Accept‘: "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
           ‘Accept-Encoding‘: ‘gzip‘,
           }

浏览器头已经构造好了。原因是什么？

实际上，动态网页是从原网页指向图片服务器的，所以在浏览器头中需要加上原来的地址，伪造出是从浏览器跳转的效果。