如何使用python和beautifulsoup4循环和抓取多个页面的数据

Question

我必须迭代超过4000页：在每页之后。当我们到达可用的最后一页时，没有更多的页面，所以我们已经完成并可以退出循环，例如持续。

可能没有涵盖欧洲所有国家的数据库（例如非民主国家白俄罗斯没有公布太多信息）。因此，如果您需要OpenStreetMap拥有的更多数据，您可能需要逐个国家/地区。以下是法国的数据。法国政府创建了一个网站，显示法国所有4307家医院和诊所的名单：

http://www.ScopeSante.fr

点击“Voir la listedesétablissements”获取完整列表。乍一看关于从页面到页面的抓取问题 - 可以通过不同的方法解决：

看看似乎从零到最大的数字 - 在两者之间我们有一堆数字，可以获取网站;例如470000027

我们在页面底部没有分页：例如：

https://www.scopesante.fr#/etablissements/470000027/fiche-detaillee/" LINIQUE ESQUIROL-SAINT-HILAIRE</span></a>
https://www.scopesante.fr#/etablissements/470005406/fiche-detaillee/" CH AGEN NERAC - HOPITAL DE MONBRAN-(Modification juridique le 31 décembre 2016)</span></a>
https://www.scopesante.fr#/etablissements/470008780/fiche-detaillee/" EHPAD-USLD DE POMPEYRIE CH AGEN NERAC</span></a>
https://www.scopesante.fr#/etablissements/470000423/fiche-detaillee/" CH AGEN NERAC - HOPITAL SAINT-ESPRIT</span></a>
https://www.scopesante.fr#/etablissements/470000159/fiche-detaillee/" CLINIQUE CALABET</span></a>
https://www.scopesante.fr#/etablissements/040780405/fiche-detaillee/" CENTRE DES CARMES</span></a>
https://www.scopesante.fr#/etablissements/430000166/fiche-detaillee/" CENTRE SSR JALAVOUX</span></a>
https://www.scopesante.fr#/etablissements/050000223/fiche-detaillee/" CENTRE HOSPITALIER AIGUILLES QUEYRAS</span></a>
https://www.scopesante.fr#/etablissements/030000160/fiche-detaillee/" CENTRE HOSPITALIER SPECIALISE D'AINAY</span></a>
https://www.scopesante.fr#/etablissements/950500017/fiche-detaillee/" GHI DU VEXIN SSR SITE AINCOURT</span></a>
https://www.scopesante.fr#/etablissements/400782769/fiche-detaillee/" POLYCLINIQUE DE L'ADOUR</span></a>
https://www.scopesante.fr#/etablissements/400780367/fiche-detaillee/" CLINIQUE MEDICALE JEAN SARRAILH</span></a>

等等......好吧，我们可以将这个URL设置为基础 -

如果我们有一个数组，我们从中加载需要访问的网址 - 我们会遇到所有页面..我们有大约4400页的记录，我们必须访问。

关于循环过程：

页面参数后的附加信息

这意味着您可以阅读页面内容，然后将页面值更改为1，并阅读下一页....依此类推。

import csv
import requests 
from bs4 import BeautifulSoup
for i in range(4400):      # Number of pages plus one 
    url = "".format(i)
    r = requests.get(url)
    soup = BeautifulSoup(r.content)

    # Your code for each individual page here 

  html = urlopen(url)
    soup = BeautifulSoup(html,"html.parser")
    Title = soup.find_all ,,,, 
    for i in Title:
        try:

            print(text)
f.close()

见下面的一个问题：

问题是 - 解析器过程是否正常 - 迭代从零到100 000？

<ul><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800002503/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SA CLINIQUE SAINTE ISABELLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800006231/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SSR CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800015539/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">HAD CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800000143/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/570000380/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABRESCHVILLER</span><span class="etablissement">ABRESCHVILLER - CRS SAINT LUC</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340017292/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">UADSA ST GUILHEM PAYS D'AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340780436/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">HOPITAL ST LOUP HBT AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">

问题是 - 解析器过程是否正常 - 迭代从零到100 000？