爬虫实践——数据存储到Excel中

Posted yuyedekafei

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫实践——数据存储到Excel中相关的知识,希望对你有一定的参考价值。

在进行爬虫实践时,我已经爬取到了我需要的信息,那么最后一个问题就是如何把我所爬到的数据存储到Excel中去,这是我没有学习过的知识。

如何解决这个问题,我选择先百度查找如何解决这个问题。

百度查到的方法千万种,我先选择看得懂的文章下手,不断尝试,最后解决了问题

那么到底如何解决这个问题呢?

解决这个问题要用到三个模块分别是xlwt、xlrd和xlutils

在使用这两个模块时要先下载安装它们,我用的是pycharm编写程序,我用到的安装方法是:

#在文件中导入xlwt、xlrd 和xlutils

 import  xlwt

import xlrd

import xlutils

再写入它们之后,会报错,把鼠标分别移到xlwt上点击一下,

它的头上会有一个红色的小灯泡,点击灯泡再点击install and import package "xlwt"

xlrd和xlutils同理

这样这三个模块就安装好了

模块安装好了,下一步就是要学会如何使用这三个模块了

xlwt模块:

 1 import xlwt
 2 
 3 file_name = rC:\Users\樱花雨\Desktop\test.xls#这是你要保存文件的文件路径和文件名
 4 workbook = xlwt.Workbook()#表示新建xls工作簿
 5 sheet1 = workbook.add_sheet(worksheet)#新建xls表,表的名字是worksheet
 6 for a in range(1,16):
 7     # 把数据写入xls中,行,列,值
 8     sheet1.write(0, 0, I)
 9     sheet1.write(0, 1, love)
10     sheet1.write(0.2, python)
11     # 保存xls到file_name的路径下和文件名
12     workbook.save(file_name)

xlrd和xlutils模块:(xlrd参考链接:xlrd)

 1 import xlrd
 2 from xlutils.copy import copy
 3 
 4 xlsfile = rC:\Users\樱花雨\Desktop\test.xls
 5 #打开xsl文件
 6 book = xlrd.open_workbook(xlsfile)
 7 #获取表格的名字
 8 sheet_name = book.sheet_names()
 9 print(sheet_name)
10 #获取工作表
11 #(1)通过索引顺序获取
12 #sheet = bool.sheets()[0]
13 #(2)通过名称获取
14 #sheet = book.sheet_by_name(r‘worksheet‘)
15 #(3)通过索引顺序获取
16 sheet = book.sheet_by_index(0)
17 #获取表中的行数
18 nrows = sheet.nrows
19 #获取表中的列数
20 ncols = sheet.ncols
21 print(nrows)
22 print(ncols)
23 #获取表中整行的内容
24 row_data = sheet.row_values(0)
25 #获取表中列内容
26 col_data = sheet.col_values(0)
27 print(row_data)
28 print(col_data)
29 #获取表中单元格的内容
30 cell_value = sheet.cell_value(3,0)
31 print(cell_value)
32 #获取表中单元格的内容
33 cell_value2 = sheet.cell(3,0)
34 print(cell_value2)
35 #修改或添加单元格内容
36 #ctype:0 empty ;1,string;2 number;3 date;4 boolean;5 error
37 #value:写入单元格中的内容
38 #xf:0
39 #sheet.put_cell(row,col,ctype,value,xf)
40 sheet.put_cell(1,2,1,"test",0)
41 cell_value2 = sheet.cell(1,1)
42 print(cell_value2)
43 #保存xlsfile
44 wb = copy(book)
45 wb.save(xlsfile)

 

以上是关于爬虫实践——数据存储到Excel中的主要内容,如果未能解决你的问题,请参考以下文章

爬虫基本工系列之--数据存储

大规模分布式爬虫系统中Kafka和rabbitMQ消息中间件的技术实践分享

社会化海量数据采集爬虫框架搭建

爬虫入门:爬取的数据存储到MySQL数据库

基于爬虫实现技术文章爬虫存储到数据库

爬虫--Scrapy-持久化存储操作2