《爬虫学习》(爬虫实战之爬取天气信息)

Posted whgy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《爬虫学习》(爬虫实战之爬取天气信息)相关的知识,希望对你有一定的参考价值。

1.大体框架列出+爬取网页:

#数据可视化
from pyecharts import Bar
#用来url连接登陆等功能
import requests
#解析数据
from bs4 import BeautifulSoup

#用来存取爬取到的数据
data = []

def parse_data(url):
    headers = {
        ‘User-Agent‘:"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
    }
    rest = requests.get(url=url, headers=headers)#使用requests.get方法爬取网页
    # 一般人可能会用rest.text,但是会显示乱码
    text = rest.content.decode(‘utf-8‘)#使用utf-8解码,防止显示乱码,接下来无法解析
    soup = BeautifulSoup(text, ‘html5lib‘)#BeautifulSoup方法需要指定解析文本和解析方式


def main():
    url = "http://www.weather.com.cn/textFC/hb.shtml"
    parse_data(url)

if __name__ == ‘__main__‘:
    main()

parse_data函数主要用于爬取以及解析数据

headers可以在网页之中查找

易错点:当使用requests.get获取到网页之后,一般可能使用text方法进行数据获取,但是尝试之后数据产生了乱码,因为requests.get方法获取再用text解码时候默认ISO-8859-1解码,

    因此使用content方法并指定decode(‘utf-8‘)进行解码

数据解析我使用的是bs4库,也可以用lxml库,但是感觉没有bs4方便,解析方式使用html5lib,对于html数据解析更具有容错性和开放性

 

2.爬取网页解析:

# 爬取数据
    cons = soup.find(‘div‘, attrs={‘class‘:‘conMidtab‘})
    tables = cons.find_all(‘table‘)
    for table in tables:
        trs = table.find_all(‘tr‘)[2:]
        for index,tr in enumerate(trs):
            if index == 0:
                tds = tr.find_all(‘td‘)[1]
                qiwen = tr.find_all(‘td‘)[4]
            else:
                tds = tr.find_all(‘td‘)[0]
                qiwen = tr.find_all(‘td‘)[3]
            city = list(tds.stripped_strings)[0]
            wendu = list(qiwen.stripped_strings)[0]
            data.append({‘城市‘:city, ‘最高气温‘:wendu})

bs4库一般使用方法是find或者find_all方法(详细内容见上一篇博客)

find方法比较使用的是可以查找指定内容的数据,使用attrs={}来定制条件,代码中我用了attrs={‘class‘:‘conMidtab‘}或者使用class_=‘conMidtab‘

查看网页源代码可知

技术图片

 

 

 通过‘class‘:‘conMidtab‘来定位到所需信息的表

技术图片

 

 

 再分析:因为有多个conMidtab,所以测试分析得知多个conMidtab对应的是今天,明天,后天......的天气情况

我们分析的是今天的情况,所以取第一个conMidtab,使用soup.find("div",class_="conMidtab")获取第一个conMidtab的内容

技术图片

 

 

 由上知:conMidtab下的多个class="conMidtab2"代表不同的省的天气信息

但是在研究可以发现,所有天气信息都是存储在table里的,因此获取所有tables即可——cons.find_all(‘table‘)

技术图片

 

 

 同时对于每一个table而言:第三个tr开始才是对应的城市信息,故对于每一个table获取trs = table.find_all("tr")[2:]

技术图片

 

 

易错点:同时发现对于每个省第一个城市,它隐藏在tr的第二个td里,而除此之外的该省其他城市则在tr的第一个td里,因此使用一个if和else判断

enumerate方法可以产生一个index下标,因此在遍历trs的时候可以知道当index==0的时候是第一行

技术图片

 

 

 技术图片

之后分析:城市名字:对于每个省第一个城市,它隐藏在tr的第二个td里,而除此之外的该省其他城市则在tr的第一个td里

     最高气温:对于每个省第一个城市,它隐藏在tr的第五个td里,而除此之外的该省其他城市则在tr的第四个td里

因此使用

       if index == 0:
                tds = tr.find_all(‘td‘)[1]
                qiwen = tr.find_all(‘td‘)[4]
            else:
                tds = tr.find_all(‘td‘)[0]
                qiwen = tr.find_all(‘td‘)[3]
最后使用stripped_strings获取字符串并且添加到data列表里

3.进行所有城市的数据获取:
def main():
    urls = [
        "http://www.weather.com.cn/textFC/hb.shtml",
        "http://www.weather.com.cn/textFC/db.shtml",
        "http://www.weather.com.cn/textFC/hd.shtml",
        "http://www.weather.com.cn/textFC/hz.shtml",
        "http://www.weather.com.cn/textFC/hn.shtml",
        "http://www.weather.com.cn/textFC/xb.shtml",
        "http://www.weather.com.cn/textFC/xn.shtml",
        "http://www.weather.com.cn/textFC/gat.shtml"
    ]
    for url in urls:
        parse_data(url)  

 

 

 修改了一下main方法:获取全国数据

 

4.数据排序找出全国气温最高十大城市:

# 排序找出十大温度最高的城市
# 按照温度排序
data.sort(key=lambda x:int(x[‘最高气温‘]))
#十大温度最高的城市
data_2 = data[-10:]

其中在排序的时候注意:要转化为int型才可以进行排序,否则是按照string进行排序的。

 

5.数据可视化:

citys = list(map(lambda x:x[‘城市‘], data_2))#横坐标
wendu = list(map(lambda x:x[‘最高气温‘], data_2))#纵坐标
charts = Bar(‘中国十大最高温度城市‘)
charts.add(‘‘, citys, wendu)
charts.render(‘天气网.html‘)  

使用Bar模块:

  Bar方法主要可以给该图标命名

  add方法主要是添加(图颜色的名称,横坐标名, 纵坐标名)

  render主要是存储在本地之中

结果展示:

技术图片

 

 

完整代码:

#数据可视化
from pyecharts import Bar
#用来url连接登陆等功能
import requests
#解析数据
from bs4 import BeautifulSoup

#用来存取爬取到的数据
data = []


def parse_data(url):
    headers = {
        ‘User-Agent‘:"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
    }
    rest = requests.get(url=url, headers=headers)#使用requests.get方法爬取网页
    # 一般人可能会用rest.text,但是会显示乱码
    text = rest.content.decode(‘utf-8‘)#使用utf-8解码,防止显示乱码,接下来无法解析
    soup = BeautifulSoup(text, ‘html5lib‘)#BeautifulSoup方法需要指定解析文本和解析方式

    # 爬取数据
    cons = soup.find(‘div‘, attrs={‘class‘:‘conMidtab‘})
    tables = cons.find_all(‘table‘)
    for table in tables:
        trs = table.find_all(‘tr‘)[2:]
        for index,tr in enumerate(trs):
            if index == 0:
                tds = tr.find_all(‘td‘)[1]
                qiwen = tr.find_all(‘td‘)[4]
            else:
                tds = tr.find_all(‘td‘)[0]
                qiwen = tr.find_all(‘td‘)[3]
            city = list(tds.stripped_strings)[0]
            wendu = list(qiwen.stripped_strings)[0]
            data.append({‘城市‘:city, ‘最高气温‘:wendu})

def main():
    urls = [
        "http://www.weather.com.cn/textFC/hb.shtml",
        "http://www.weather.com.cn/textFC/db.shtml",
        "http://www.weather.com.cn/textFC/hd.shtml",
        "http://www.weather.com.cn/textFC/hz.shtml",
        "http://www.weather.com.cn/textFC/hn.shtml",
        "http://www.weather.com.cn/textFC/xb.shtml",
        "http://www.weather.com.cn/textFC/xn.shtml",
        "http://www.weather.com.cn/textFC/gat.shtml"
    ]
    for url in urls:
        parse_data(url)

    # 排序找出十大温度最高的城市
    # 按照温度排序
    data.sort(key=lambda x:int(x[‘最高气温‘]))
    #十大温度最高的城市
    data_2 = data[-10:]

    # 数据可视化
    citys = list(map(lambda x:x[‘城市‘], data_2))#横坐标
    wendu = list(map(lambda x:x[‘最高气温‘], data_2))#纵坐标
    charts = Bar(‘中国十大最高温度城市‘)
    charts.add(‘‘, citys, wendu)
    charts.render(‘天气网.html‘)

if __name__ == ‘__main__‘:
    main()

  

 

以上是关于《爬虫学习》(爬虫实战之爬取天气信息)的主要内容,如果未能解决你的问题,请参考以下文章

芝麻HTTP:Python爬虫实战之爬取糗事百科段子

Python爬虫实战二之爬取百度贴吧帖子

转 Python爬虫实战二之爬取百度贴吧帖子

芝麻HTTP:Python爬虫实战之爬取百度贴吧帖子

scrapy爬虫之爬取汽车信息

如何入门爬虫(基础篇)