python--爬虫
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python--爬虫相关的知识，希望对你有一定的参考价值。
urllib2
urllib2的使用
from urllib.request import *
# 设置头信息，两种方法
# 1.直接在request中填入参数
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36"}
request = Request("此处填写Url(必须以http或https开头)", headers=header )
# 2.设置header
request = Request(url)
request.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36")
request.get_header("User-Agent") # 获取User-Agent以上是关于python--爬虫的主要内容，如果未能解决你的问题，请参考以下文章
Python练习册 第 0013 题： 用 Python 写一个爬图片的程序，爬 这个链接里的日本妹子图片 :-)，(http://tieba.baidu.com/p/2166231880)(代码片段