4Python将采集的信息保存

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了4Python将采集的信息保存相关的知识,希望对你有一定的参考价值。

一、引言

       前面小编已和各位童鞋分享了如何爬去历史天气网站的城市信息,下面将和大家分享如何将采集到的信息保存下来。

       1、将采集到的信息保存在csv文件中

       2、将采集到的信息保存在sql server 2014 中

二、将采集到的信息保存在csv文件中

        在工程下新建一个area文件夹,由于代码简单,小编就直接贴出来了:

 

 1 # coding = utf-8
 2 
 3 import urllib
 4 import urllib.request
 5 from bs4 import BeautifulSoup
 6 import csv
 7 import json
 8 
 9 provincelst=[]
10 
11 def getProvinces():
12     url = http://lishi.tianqi.com/
13     response = urllib.request.urlopen(url, timeout=20)
14     result = response.read()
15     soup = BeautifulSoup(result, "lxml")
16     provinces = soup.select(".nav_b .select #province option")
17 
18     for priovince in provinces:
19         py = priovince.get(py)
20         id = priovince.get(value)
21         name = priovince.get_text().split( )[1]
22         provincelst.append([id,py,name])
23 
24     with open(area/province.csv, w, encoding=utf8, newline=‘‘) as csvfile:
25         fieldnames = [id, py, name]
26         writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
27         writer.writeheader()
28         for a in provincelst:
29             writer.writerow({id: a[0], py: a[1],name: a[2] })
30 
31 getProvinces()

  24-29行为导出csv文件的代码。

 

三、将采集到的信息保存在sql server 2014 中

以上是关于4Python将采集的信息保存的主要内容,如果未能解决你的问题,请参考以下文章

八爪鱼采集教程——房源信息采集

电信采集之数据处理

入坑写代码1——c#解析xml文件

我在哪里更改此 Python 代码片段以将临时文件保存在 tmp 文件夹中?

c#如何采集需要登录的页面

4Python中的类详解(0601)