做网络爬虫过程过程中遇到的问题

Posted 2020-06-18

      在大三上学期刚开始的课程设计中，我想做一个简单的爬虫。后来有一个问题就是我想将爬取出的链接先放入一个缓冲区，满了之后再放入待爬取队列，以减少硬盘IO时间，可是这样有一个问题，那就是 最后一次爬取时缓冲区很可能满不了，或者做广度搜索时，第一层的链接根本就填不满缓冲区，这时候我怎么判断该直接将缓冲区的数据取出还是等待可能缓冲区还会有新的链接填入？

      出现这个问题是因为，项目刚开始时对这块不太熟悉。出现这个问题以后，我请教了同学以及进行查阅资料，才最终解决了问题。