scrapy使用大坑---meta参数传递出现之重复问题

Posted 2020-10-17 在路上-UP

 

scrapy使用大坑---meta参数传递出现之重复问题

问题描述：

　　　　爬虫目标：

　　　　　　　实现哔哩哔哩网站的视频信息爬取，只要的信息结构爬去顺序为**关键词的搜索结果，拿到第一页上某个视频的标题，url，和时间，然后进入下级页面爬去该视频的对应的评论，回复，弹幕，点赞数等等数据，联合组成一个关于该视频的完整信息返回item进行后续处理和存储。

              问题点   ：

　　　　　　　通过meta参数传值时出现在被调用的函数中meta参数多次重复，废话不多说代码贴图：

 爬取结果：（meta传递过来的值一直在重复，而response.url的输出说明网页的访问正确，说明智能是meta传递值有错误）

在网上查阅资料后原因为：（meta的参数传递是浅拷贝，并且scrapy是异步框架才会导致这样的问题）

解决办法：（改用深拷贝）

修改后效果：