分布式豆瓣爬虫: 控制节点-数据存储器

Posted 2021-01-28 mxsf

一、实现原理

因为存储方式相同所以数据存储器的代码无需修改

 

二、代码如下

 1 import csv
 2 
 3 class DataOutput:
 4     def __init__(self):
 5         self.file = open(‘数据.csv‘, ‘w‘)
 6         self.csv_file = csv.writer(self.file)
 7         self.csv_file.writerow([‘电影名‘, ‘评分‘, ‘评分人数‘])
 8 
 9     def output_csv(self, data):
10         """
11         将数据写入 csv 文件
12         :param data: 数据
13         :return: None
14         """
15         self.csv_file.writerow(data)