从Twitch刮取数据

Posted 2021-04-09

我试图找出Twitch上每个游戏有多少粉丝。遗憾的是，Twitch API无法提供此信息。当我去任何游戏（如Mortal Kombat 11）时，我可以看到“115,175追随者·199,041观众”。但是，当我转到“查看源代码”时，此信息不存在。我曾尝试使用phantomjs打开网站，但到目前为止，我还没有弄清楚如何渲染该部分。

如何在Twitch上为特定游戏刮掉追随者和观众的数量？

（R中的解决方案首选但不是强制性的）

答案

几个月前我使用qazxsw poi和qazxsw poi创建了一个网络刮刀。

您可以使用带有get请求的axios获取整个html页面，然后在cheerio开始查找您想要的信息，在这种情况下，关注者，cheerio就像服务器端jquery。

一个小例子：

axios

图像说明了报废中的信息。

cheerio

此外，请记住，有些网站认为网页抓取非法或违反其政策，请确保您阅读抽搐条款和条件，上述示例仅用于教育目的。

希望能帮助到你。