爬虫JSON存储和CSV存储

Posted 2021-04-30 多德伟

再不点蓝字关注，机会就要飞走了哦

JSON，全称为javascript Object Notation, 也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。本节中，我们就来了解如何利用Python保存数据到JSON文件。

 对象和数组

在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，下面简要介绍一下它们。

对象：

它在JavaScript中是使用花括号{}包裹起来的内容，数据结构为{key1：value1, key2：value2, ...}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。

数组：

数组在JavaScript中是方括号[]包裹起来的内容，数据结构为["java", "javascript", "vb", ...]的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。

所以，一个JSON对象可以写为如下形式：

由中括号包围的就相当于列表类型，列表中的每个元素可以是任意类型，这个示例中它是字典类型，由大括号包围。

JSON可以由以上两种形式自由组合而成，可以无限次嵌套，结构清晰，是数据交换的极佳方式。

读取JSON

Python为我们提供了简单易用的库来实现JSON文件的读写操作，我们可以调用库的loads()方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串。

例如，这里有一段JSON形式的字符串，它是str类型，我们用Python将其转换为可操作的数据结构，如列表或字典：

这里使用loads()方法将字符串转为JSON对象。由于最外层是中括号，所以最终的类型是列表类型。

这样一来，我们就可以用索引来获取对应的内容了。例如，如果想取第一个元素里的name属性，就可以使用如下方式：

通过中括号加0索引，可以得到第一个字典元素，然后再调用其键名即可得到相应的键值。

获取键值时有两种方式，一种是中括号加键名，另一种是通过get()方法传入键名。这里推荐使用get()方法，这样如果键名不存在，则不会报错，会返回None。另外，get()方法还可以传入第二个参数（即默认值），示例如下：

这里我们尝试获取年龄age，其实在原字典中该键名不存在，此时默认会返回None。如果传入第二个参数（即默认值），那么在不存在的情况下返回该默认值。

值得注意的是，JSON的数据需要用双引号来包围，不能使用单引号，否会出现错误。

CSV文件存储

CSV，全称为Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比Excel文件更加简介，XLS文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用CSV来保存数据是比较方便的。下面说一下Python读取和写入CSV文件的过程。

举个例子：

首先，打开data.csv文件，然后指定打开的模式为w（即写入），获得文件句柄，随后调用csv库的writer()方法初始化写入对象，传入该句柄，然后调用writerow()方法传入每行的数据即可完成写入。

运行结束后，会生成一个名为data.csv的文件，此时数据就成功写入了。直接打开的话，其内容如下：

可以看到，写入的文本默认以逗号分隔，调用一次writerow()方法即可写入一行数据。

如果想修改列与列之间的分隔符，可以传入delimiter参数，其代码如下：

这里在初始化写入对象时传入delimiter为空格，此时输出结果的每一列就是以空格分隔了，内容如下：

另外，我们也可以调用writerows()方法同时写入多行，此时参数就需要为二维列表，例如：

输出效果是相同的，内容如下：

但是一般情况下，爬虫爬取的都是结构化数据，我们一般会用字典来表示。在csv库中也提供了字典的写入方式，示例如下：

这里先定义3个字段，用fieldnames表示，然后将其传给DictWriter来初始化一个字典写入对象，接着可以调用writeheader()方法先写入头信息，然后再调用writerow()方法传入相应字典即可。

最终写入的结果是完全相同的，内容如下：

这样就可以完成字典到CSV文件的写入了。

另外，如果想追加写入的话，可以修改文件的打开模式，即将open()函数的第二个参数改成a，代码如下：

这样在上面的基础上再执行这段代码，文件内容便会变成：

可见，数据被追加写入到文件中。

如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给open()参数指定编码格式。比如，这里再写入一行包含中文的数据，代码需要改写如下：

这里需要给open()函数指定编码，否则可能发生编码错误。

另外，如果接触过pandas等库的话，可以调用DataFrame对象的to_csv()方法来将数据写入CSV文件中。

2.初始化

我们同样可以使用csv库来读取CSV文件。例如，将刚才写入的文件内容读取出来，相关代码如下：

运行结果如下：

这里我们构造的是Reader对象，通过遍历输出了每行的内容，每一行都是一个列表形式。注意，如果CSV文件中包含中文的话，还需要指定文件编码。

另外，如果接触过pandas的话，可以利用read_csv()方法将数据从CSV中读取出来，例如：

运行结果如下：

在做数据分析的时候，此种方法用得比较多，也是一种比较方便地读取CSV文件的方法。

本节中，我们了解了CSV文件的写入和读取方式。这也是一种常用的数据存储方式，需要熟练掌握。

看了就要关注我，喵呜~