如何使用网站开放库将信息存储到数据库中[关闭]

Posted 2023-03-23

【中文标题】如何使用网站开放库将信息存储到数据库中[关闭]

【英文标题】：How can I use the website open library to store information into a database [closed]

【发布时间】：2020-10-23 17:33:35

【问题描述】：

我正在尝试制作一个网页，该网页使用 html 获取有关书籍的信息，并将有关书籍的信息放入数据库中以供使用。知道如何从网站开放库中获取信息并将其存储到数据库中吗？ 如果需要，这里是 API 的链接： https://openlibrary.org/developers/api 提前致谢。

【问题讨论】：

他们有你应该使用的数据库转储而不是 API。 openlibrary.org/developers/dumps

感谢您的仓促回复，我下载了“authors dump (~ 0.3G)”，但我仍然不确定如何将其添加到数据库中。谢谢。

我们甚至不知道您使用的是哪种数据库或您的网页将使用哪种服务器堆栈。您肯定知道，如果不了解您已经拥有的更多信息，我们将无法提供帮助。

【参考方案1】：

如果 postgreSQL 和 python 是一个可行的选择，LibrariesHacked 在 GitHub 上有一个现成的解决方案，用于导入和搜索 Open Library 数据。

GitHub: LibrariesHacked / openlibrary-search

使用 postgreSQL 数据库应该可以将数据直接导入表中，然后使用 SQL 进行复杂的搜索。

不幸的是，提供的下载有点混乱。打开的库文件总是出错，因为提供的列数似乎有所不同。清理起来很困难，因为版本的文本文件是 25GB。

这意味着另一个用于清理数据的 python 脚本。文件 openlibrary-data-process.py 只是读取 CSV（python 对不可靠的数据更宽容一点）并再次将其写出，但前提是有 5 列。