ID遍历爬虫

Posted 2020-10-09 逍遥游2

我们在目标网站打开时发现一些网页ID是连续的数字时，这时候我们就可以用ID遍历的方式进行爬取，但是这样的网站弱点比较少见，特别是有一些ID数字是十多位的数字，这样爬取的时候就会花大量的时间，所以说这样的方法并不是最高效的方法


max_errors=5
# current number of consecutive download errors
num_errors=0
import itertools
for page in itertools.count(1):
    url=‘http://example.webscraping.com/view/-%d‘ % page
    html=download(url)
    if html is None:
        #received an error trying to download this page
        num_errors+=1
        if num_errors==max_errors:
        # reached maximum number of
        # consecutive errors so exit
        break
    else:
        # sucess - can scrap the result
        num_errors=0