Selenium 和 Goodreads 的分页

Posted 2023-02-23

【中文标题】Selenium 和 Goodreads 的分页

【英文标题】：Selenium and Goodreads' pagination

【发布时间】：2017-11-11 09:33:48

【问题描述】：

我正在尝试从 Goodreads 中提取信息。问题是如果我进入如下网址：

https://www.goodreads.com/shelf/show/programming?page=2

使用 Selenium chrome webdriver 或 BeautifulSoup，它仍然显示第一页，而不是第二页。 使用 chrome 网络驱动程序的示例：

在普通浏览器上，它会显示这些书籍：

【参考方案1】：

看起来发生这种情况是因为您没有在 selenium 会话中登录，您必须在重新启动之间登录并保存 cookie。

查看this *** 的答案以了解如何提取 cookie。

【讨论】：

有趣。谢谢！