访问 URL 的自动化脚本 [关闭]

Posted 2023-02-25

【中文标题】访问 URL 的自动化脚本 [关闭]

【英文标题】：Automated Script to Visit URLs [closed]

【发布时间】：2017-09-05 10:36:11

【问题描述】：

我正在使用 php、Codeigniter 和 Google Books（在 WIndows 7 XAMPP localhost 环境中）创建一个简单的 Web 应用程序。

我有一个 mysql 书籍列表（几百本）和相应的 ISBN 编号。当用户第一次查看一本书/访问一个 URL 时，对 Google 图书进行 API 调用，并将图书的标题、作者和描述保存到我的数据库中。

理想情况下，我想自己填充数据库，而不是依赖用户。所以，我正在考虑手动访问每个 URL。但是有很多项目！

有没有可以用于此类任务的脚本？我希望在 24 小时内每 5 分钟运行一次脚本。

我的网址格式如下：

/items/itemView/1 // <-- book 1
/items/itemView/2 // <-- book 2
/items/itemView/3 // <-- book 3
// etc
// etc

谢谢

【问题讨论】：

为什么不使用循环并调用 Google Books API？然后获取所有信息并保存在您的数据库中。

这有什么问题？

从您对问题的描述来看，您似乎已经构建了不同的代码，您也可以重复使用这些代码来构建这个。

【参考方案1】：

简答：

存在存储 API，因此您不必对所有内容进行编目。

长答案：

听起来您正在尝试使用 API 并搜索每一个条目并为您自己的目的记录它们。

虽然这通常可以相当简单地完成，但我不会告诉你如何做，而是告诉你为什么你不应该。

存在一个用于大型数据库的 API，因此您不必存储所有数据，因为所需的资源绝对是巨大的，通常比大多数爱好者甚至拥有的还要多。

最好像现在一样拥有它，缓存访问过的内容以防再次访问，并定期确保你保留的任何记录，与它的来源进行比较，这样你就没有-过时记录（本地缓存的另一个缺陷）。

我希望这至少可以帮助您了解为什么人们倾向于不复制大型数据源。

【讨论】：

@johnny_s 谢谢 :) 我总是很乐意尽我所能帮助人们，如果您对我的回答感到满意，请将其标记为已接受。 :P

@johnny_s 我认为有时人们倾向于开枪，这就是全部，我不会个人认为。为了教育有类似困惑的其他人，我会赞成这个问题。