Python爬取天气网历史天气数据

Posted 会飞的小虫子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬取天气网历史天气数据相关的知识,希望对你有一定的参考价值。

使用Python的requests 和BeautifulSoup模块,Python 2.7.12可在命令行中直接使用pip进行模块安装。爬虫的核心是利用BeautifulSoup的select语句获取需要的信息。

pip install requests
pip install bs4

以武汉市2017年5~7月的历史为例爬取天气网中武汉市的历史天气数据。 
7月对应的网址为http://lishi.tianqi.com/wuhan/201707.html

1.requests模块获取网页内容

url=‘http://lishi.tianqi.com/wuhan/201707.html‘
response = requests.get(url)                          
soup = BeautifulSoup(response.text, ‘html.parser‘)    

2.利用.select语句找到网页中天气数据所在的div

weather_list = soup.select(‘div[class="tqtongji2"]‘) 

技术分享图片

3.找出日期、最高气温、最低气温、天气等数据,用li.string获取li中的信息。

ul_list = weather.select(‘ul‘)
for ul in ul_list:
    li_list= ul.select(‘li‘)
    for li in li_list:
        li.string.encode(‘utf-8‘)  #具体的天气信息

技术分享图片

具体代码实现如下:

#encoding:utf-8                                                                      
import requests                                                                      
from bs4 import BeautifulSoup                                                        

urls = ["http://lishi.tianqi.com/wuhan/201707.html",                                 
        "http://lishi.tianqi.com/wuhan/201706.html",                                 
        "http://lishi.tianqi.com/wuhan/201705.html"]                                 
file = open(‘wuhan_weather.csv‘,‘w‘)                                                 
for url in urls:                                                                     
    response = requests.get(url)                                                     
    soup = BeautifulSoup(response.text, ‘html.parser‘)                               
    weather_list = soup.select(‘div[class="tqtongji2"]‘)                             

    for weather in weather_list:                                                     
        weather_date = weather.select(‘a‘)[0].string.encode(‘utf-8‘)                 
        ul_list = weather.select(‘ul‘)                                               
        i=0                                                                          
        for ul in ul_list:                                                           
            li_list= ul.select(‘li‘)                                                 
            str=""                                                                   
            for li in li_list:                                                       
                str += li.string.encode(‘utf-8‘)+‘,‘                                 
            if i!=0:                                                                 
                file.write(str+‘\n‘)                                                 
            i+=1                                                                     
file.close()                                                                        

最后的结果: 
技术分享图片



以上是关于Python爬取天气网历史天气数据的主要内容,如果未能解决你的问题,请参考以下文章

2018-7-12python爬取历史天气数据

Python爬取全国历史天气数据

Python爬取中国天气网天气

python爬虫爬取天气数据并图形化显示

Python3 爬虫U11_爬取中国天气网

爬取中国天气网的天气预报,可视化展示看着就是爽python爬虫入门进阶(06)