Scrapy下一页按钮和上一页按钮在同一类，无法到达下一页

Posted 2023-03-06

【中文标题】Scrapy下一页按钮和上一页按钮在同一类，无法到达下一页

【英文标题】：Scrapy Next Page Button and Previous Page Button are on the same class, can't reach the next page

【发布时间】：2020-11-11 08:00:16

【问题描述】：

我正在尝试抓取一本字典。其中有下一页和上一页按钮。当我尝试以这种方式到达下一页（“Sonraki Sayfa”）时

next_page = response.css('div.col-md-6.col-sm-6.col-xs-6 a::attr(href)').get()

我总是到达上一页按钮，因为它们具有相同的类名。

这是网站的html代码：

<ul class="sayfalama">
  <div class="col-md-12 col-xs-12 col-sm-12">
    <div class="row">
      <div class="col-md-6 col-sm-6 col-xs-6">
        <a href="kelimeler.php?s=-1" style="background: white; font-weight: bold; padding:5px;">Önceki Sayfa</a>
      </div>
      <div class="col-md-6 col-sm-6 col-xs-6">
        <a href="kelimeler.php?s=1" style="background: white; font-weight: bold; padding:5px;">Sonraki Sayfa</a>
      </div>
    </div>
</ul>

这是我的蜘蛛代码

next_page = response.css('div.col-md-6.col-sm-6.col-xs-6 a::attr(href)').get()
print(next_page)

if next_page is not None:

  yield response.follow(next_page, callback = self.parse)

应该改变什么才能到达下一页（Sonraki Sayfa）而不是上一页（Onceki Sayfa）？

【参考方案1】：

你可以试试nth-child。如下：

next_page = response.css('div.col-md-6.col-sm-6.col-xs-6:nth-child(2) a::attr(href)').get()

div.col-md-6.col-sm-6.col-xs-6:nth-child(2) a 
  color:red;

<div class="col-md-6 col-sm-6 col-xs-6">
  <a href="kelimeler.php?s=-1" style="background: white; font-weight: bold; padding:5px;">Önceki Sayfa</a>
</div>
<div class="col-md-6 col-sm-6 col-xs-6">
  <a href="kelimeler.php?s=1">Sonraki Sayfa</a>
</div>

【讨论】：

谢谢你，成功了。此外，该网站有 146 页的文字，但在第 146 页之后，最后一页再次显示。因此，如果 next_page 不是 None: 则不起作用。您对此有什么建议吗？

你可以问另一个问题。

我问。 ***.com/questions/63024356/…