用python写网络爬虫 -从零开始 2 编写网站地图爬虫

Posted 2020-10-10

一般网站都会有robots.txt文件，在这个文件规定了允许网络爬虫访问的目录，也规定了禁止爬虫访问的目录。
要重视这个文件的原因是，访问了禁止目录，会被禁止你的ip地址访问

以下定义了一个网站地图爬虫，

 

def crawl_sitemap(url):
    # download the sitemap file
    sitemap = download(url)
    # extract the sitemap links
    links = re.findall(‘<loc>(.*?)</loc>‘, sitemap)
    # download each link
    for link in links:
        html = download(link)
        # scrape html here
        # ...