Python爬虫第三课（提取数据）

Posted 2022-11-23 break03

提取html数据

import requests
from bs4 import BeautifulSoup

url = ‘https://www.douban.com/‘
header = 
‘Accept‘:‘*/*‘,
‘Accept-Encoding‘:‘gzip,deflate,br‘,
‘Accept-Language‘:‘zh-CN‘,
‘Connection‘:‘keep-alive‘,
‘Host‘:‘www.douban.com/‘,
‘Referer‘:‘https://www.douban.com/‘,
‘User-Agent‘:‘……‘
resp = requests.get(url, headers=header)

print(resp)

soup = BeautifulSoup(resp.text,‘lxml‘)
content = soup.select(‘#anony-time > div > div.main > ul > li:nth-child(5) > a.title‘)

print(content)

　在我爬取链家，携程网站时候遇到问题，明明response 200，但select返回是空值。 目前猜测原因是：存放我想获取数据的网址不是在一开始写入的网址，我resp.text没有看见相关数据。这个以后学习如何处理。

 

提取Json数据

暂时不会，大致看了下，像字典存储

import json
data = ‘"name":"gy","age":"100","weight":"200"‘
resp = json.loads(data) #将str型的data通过json.loads转为字典
print(resp[‘name‘])