爬虫项目案例讲解 案例二：数据处理

Posted 2021-03-26 jxxgg

目的：前面的的数据已经传过来了，此时都封装在pipelines.py的 items 里面了。

此时需要对数据进行处理，怎么处理呢？
首先，
class StockPipeline(object):
def __init__(self):
self.file=open("executive_prep.csv","a+");#a+:拿到文件的读写权限，没有的话直接写，有的话追加写
def process_item(self, item, spider):
# 类加载时要创建一个文件
# 判断一个文件是否为空，为空则直接写
#不为空那么我就追加写文件
if os.path.getsize("executive_prep.csv") and (item not in self.file):
#开始写文件
self.write_content(item);
else:
self.file.write("高管姓名，性别，年龄，股票代码，职位 ");
self.file.flush();
return item;
这样，仿照上面写一个，写完后先定一个一个csv文件，然后在确保不重复读取的情况下去获取数据，获取数据进行封装的代码如下：
def write_content(self,item):
names = item["names"];
sexes = item["sexes"];
ages = item["ages"];
codes = item["codes"];
leaders = item["leaders"];
#此时获取到所有的数据了
result="";
for i in range(len(names)):
result=names[i]+","+sexes[i]+","+ages[i]+","+codes[i]+","+leaders[i]+" ";
self.file.write(result);
此时，完成了数据的处理，并且找到刚才命名的文件，发现数据已经被写入。到此，第一个项目完成。