支持断点续爬的腾讯街景数据抓取

Posted 2020-11-24 giserjobs

　　之前介绍了街景数据抓取的核心思想，采用画格网的方式查询街景数据是否存在。

　　该方法在数据抓取过程漫长一次难以完全抓取数据信息，且按照格网查询街景时由于查询接口是按半径进行搜索难免出现重复街景的现象。为克服以上两个难题，本文采用断点续爬解决爬虫中断后需从头开始的问题，采用将街景ID存入mysql数据库进行街景去重，大大增加了工作效率。

 

　　引入自定义mysql类（源码）：

　　地址：https://www.cnblogs.com/giserjobs/p/11990508.html

import MySql #自定义mysql类

　　数据库结构

　　   

　　断点续爬（源码）：