第五章 数据存储
Posted lnbww9966
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第五章 数据存储相关的知识,希望对你有一定的参考价值。
第五章 数据存储
我们用解析器解析出数据之后,接下来的一步就是对数据进行存储了,保存的形式可以多种多样,最简单的形式可以直接保存为文本文件,如 TXT、Json、CSV 等等,另外还可以保存到数据库中,如关系型数据库 MySQL,非关系型数据库 MongoDB、Redis 等等。那么本章我们就来统一了解一下数据的保存方式。
5.1 文件存储
文件存储形式可以是多种多样的,比如可以保存成 TXT 纯文本形式,也可以保存为 Json 格式、CSV 格式等,本节我们来了解下文本文件的存储方式。
5.1.1 TXT文本存储
将数据保存到 TXT 文本的操作非常简单,而且 TXT 文本几乎兼容任何平台,但是有个缺点就是不利于检索,所以如果对检索和数据结构要求不高,追求方便第一的话,可以采用 TXT 文本存储,本节我们来看下利用 Python 保存 TXT 文本文件的方法。
1. 本节目标
本节我们要保存知乎发现页面的热门问题部分,将其问题和答案统一保存成文本形式。
2. 基本实例
首先可以用 Requests 将网页源代码获取下来,然后使用 PyQuery 解析库进行解析,接下来将提取的标题、回答者、回答保存到文本,代码如下:
import requests
from pyquery import PyQuery as pq
url = ‘https://www.zhihu.com/explore‘
headers = {
‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/58.0.3029.110 Safari/537.36‘
}
html = requests.get(url, headers=headers).text
doc = pq(html)
items = doc(‘.explore-tab .feed-item‘).items()
for item in items:
question = item.find(‘h2‘).text()
author = item.find(‘.author-link-line‘).text()
answer = pq(item.find(‘.content‘).html()).text()
file = open(‘explore.txt‘, ‘a‘, encoding=‘utf-8‘)
file.write(‘
‘.join([question, author, answer]))
file.write(‘
‘ + ‘=‘ * 50 + ‘
‘)
file.close()
在这里主要是为了演示文件保存的方式,因此 Requests 异常处理部分在此省去,我们首先用 Requests 提取了知乎发现页面,然后将热门问题的问题、回答者、答案全文提取出来,然后利用了Python提供的 open() 方法打开一个文本文件,获取一个文件操作对象,这里赋值为 file,然后利用 file 对象的 write() 方法将提取的内容写入文件,最后记得调用一下 close() 方法将其关闭,这样抓取的内容即可成功写入到文本中了。
运行程序,可以发现在本地生成了一个 explore.txt 文件,其内容如图 5-1 所示:
图 5-1 文件内容
这样热门问答的内容就被保存文文本形式了。
在这里 open() 方法的第一个参数即为要保存的目标文件名称,第二个参数为 a,代表以追加方式写入到文本,另外我们还指定了文件的编码为utf-8,最后写入完成之后,我们还需要调用 close() 方法来关闭文件对象。
3. 打开方式
在刚才的实例中,第二个参数我们设置成了 a,这样在每次写入文本时不会清空源文件,而是在文件末尾写入新的内容,这是一种文件打开方式。关于文件打开方式,其实还有另外的几种,在此列举如下:
- r,以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
- rb,以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
- r+,打开一个文件用于读写。文件指针将会放在文件的开头。
- rb+,以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
- w,打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
- wb ,以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
- w+, 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
- wb+,以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
- a,打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。 ab 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
- a+,打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。
- ab+,以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。
4. 简化写法
另外文件写入还有一种简写方法,那就是使用 with as 语法,在 with 控制块结束时,文件会自动关闭,所以就不需要再调用 close() 方法了。
所以上面的保存方式我们可以简写如下:
with open(‘explore.txt‘, ‘a‘, encoding=‘utf-8‘) as file:
file.write(‘
‘.join([question, author, answer]))
file.write(‘
‘ + ‘=‘ * 50 + ‘
‘)
如果想保存时将原文清空,那么可以将第二个参数改写为 w,代码如下:
with open(‘explore.txt‘, ‘w‘, encoding=‘utf-8‘) as file:
file.write(‘
‘.join([question, author, answer]))
file.write(‘
‘ + ‘=‘ * 50 + ‘
‘)
5. 结语
以上便是利用 Python 将结果保存为 TXT 文件的方法,此种方法简单易用,操作高效,是一种最基本的保存数据的方法。
以上是关于第五章 数据存储的主要内容,如果未能解决你的问题,请参考以下文章
数据存储Redis第五章:Redis缓存String类型的使用场景