python：用python抓取指定网页

Posted 2020-11-20 拉努斯石

1、抓取网页的内容

urlopen(url)函数：这个函数返回一个 http.client.HTTPResponse 对象, 这个对象又有各种方法

#coding=utf-8
import urllib.request

url="http://www.baidu.com/"
data=urllib.request.urlopen(url)
read_data=data.read()
info_data=data.info()
getcode_data=data.getcode()

print(read_data)#获取url内容
print(info_data)#获取body体内容
print(getcode_data)#状态码

2、抓取 http://blog.163.com/下所有含“linxi要勇敢”的网页内容

import urllib
import urllib.request

data={} #字典
data[‘word‘]="linxi要勇敢"
url_values=urllib.parse.urlencode(data) #将data装换为’word=jecvay+notes‘的字符串
url="http://blog.163.com/?"
full_url=url+url_values #data和url合并为full_url

data=urllib.request.urlopen(full_url).read()
#data=data.decode(‘UTF-8‘) #通俗字符串转换为url格式的字符串
print(data)