爬虫简单基础代码

Posted 2020-11-01 creative-work

以下代码可以去掉注释单独运行：

 1 import urllib.request
 2 
 3 url = ‘http://www.jianshu.com/‘
 4 response = urllib.request.urlopen(url=url) #第一个参数是要打开的url 第二个是data表示post请求时 使用的 print(type(response))\
 5 #   #返回的是一个HTTPResponse对象
 6 # print(response.read())   #读取了所有网页的内容 包括换行符和制表符，获取的二进制数据
 7 # print(response.read().decode(‘utf-8‘)) #解码后进行输出  #字符串-》字节：编码  encode()  字节-》字符串：解码  decode()
 8 # print(response.readline())  #读取一行
 9 # print(response.readlines())  #读取全部返回一个列表
10 # print(response.getheaders())  #返回一个响应头信息，列表里面有元组
11 # urllib.request.urlretrieve(url=url,filename=‘baidu.html‘) #将文件下载到本地并命名，可以下载网页 图片 视频等
12 # urllib.parse #处理url的urllib.parse.urlencode 介绍post请求的时候再说这个函数
13 print(response.getheaders())
14 #编码:因为浏览器并不能识别你请求里面的中文字符
15 # 编码
16 # string = urllib.parse.quote(‘http://www.baidu.com?username=狗蛋&password=123‘)
17 # print(string)
18 #解码
19 # string = urllib.parse.unquote(‘http%3A//www.baidu.com%3Fusername%3D%E7%8B%97%E8%9B%8B%26password%3D123‘)
20 # print(string)