AlchemyData 新闻 API 摄取和提供新新闻文章的速度有多快?

Posted

技术标签:

【中文标题】AlchemyData 新闻 API 摄取和提供新新闻文章的速度有多快?【英文标题】:How quickly does the AlchemyData News API ingest and make available new news articles? 【发布时间】:2016-08-31 16:54:32 【问题描述】:

我们正在使用 AlchemyData News API 从新闻文章中提取情绪和其他信息。然而,我们没有成功地找到使用 API 的大部分文章,我们不确定为什么会发生这种情况。对于未找到的文章,我们会从 API 获得以下响应:


"status": "OK",
"usage": "By accessing AlchemyAPI or using information generated by AlchemyAPI, you are agreeing to be bound by the AlchemyAPI Terms of Use: http://www.alchemyapi.com/company/terms.html",
"totalTransactions": "96",
"result": 
    "status": "OK"

这是我们正在使用的示例查询 - 我们目前正在搜索最近两天的新闻:

https://gateway-a.watsonplatform.net/calls/data/GetNews?apikey=APIKEYHERE&outputMode=json&start=now-2d&end=now&count=1&q.enriched.url.url=bizjournals&q.enriched.url.title=Capitol%20Hill%20apartments%20sell%20for%20record%20price%20&return=enriched.url.docSentiment.score,enriched.url.author,enriched.url.entities,enriched.url.concepts,enriched.url.relations

我们不清楚这是时间问题,还是我们的搜索方法的问题,或者新闻 API 可能没有捕获所有内容。我们现在正在搜索一个相对紧凑的日期范围,我们希望避免过度扩展它,因为随着我们增加日期范围,交易数量会迅速增加。

我想最大的问题是:文章进入新闻数据库的速度有多快?如果我们需要在它们发布后等待几天,我们可以这样做。我们正在等到第二天才能立即查询 API。

任何建议将不胜感激!

【问题讨论】:

【参考方案1】:

我有一个建议,但首先是一个请求:您能否提供一个指向您希望出现在 AlchemyNews 上的新闻文章的链接?这将帮助我们对您的网址进行故障排除。

我的理解是 AlchemyData 新闻刷新了次小时费率。鉴于您昨天尝试了查询,它现在是否有效?如果不是,则可能是您的查询中的错误。

建议:尝试从简单的 URL 查询开始,然后将它们变得更复杂以细化。这可确保您不会过度过滤查询并获得零结果,即使该文章存在。

【讨论】:

这是我试图通过查询访问的文章 URL:bizjournals.com/denver/blog/real_deals/2016/05/… 我再次尝试了查询,而是将“&start=now-7d”替换为“&start=now-2d”,这一次 API 确实找到了该文章。我仍然想在查询 API 的延迟和适当的搜索时间段内找到最佳点——因为随着时间段的延长,潜在的匹配项会越来越多,交易数量会迅速增加,这意味着我们会赚更多的钱。重新花费以检索每篇文章。 我已经尝试了许多其他文章,但似乎该服务无法以低于小时的速度可靠地更新。比如刚才我前两天搜索了5月9日发布的this article,API用上面的查询方法没有找到。有谁知道我是否应该等待特定天数才能可靠地找到所有文章?或者,我们查询 API 的方式是否有问题导致我们找不到这些? 与开发团队交谈,他们告诉我大多数新闻来源每 2 小时更新一次,但通常取决于新闻网站。不确定这是否有帮助。 谢谢 Daniel - 我们一定是在尝试访问不经常更新的资源。

以上是关于AlchemyData 新闻 API 摄取和提供新新闻文章的速度有多快?的主要内容,如果未能解决你的问题,请参考以下文章

个性化新闻推荐算法的技术解读与价值探讨

在使用 YouTube Live Streaming API 时使用基本摄取或避免重复的自定义摄取

从本地数据源到红移的连续数据摄取

如何使用 Graph Api 在 facebook 新闻提要中获取“新添加的照片到相册”

MySQLWorkbench如何在每次摄取新数据时创建仅更新日期列

必应新闻 API 错误 403 - 授权不足