阻止社交网络抓取会员链接

Posted 2023-02-24

【中文标题】阻止社交网络抓取会员链接

【英文标题】：Stop social networks from crawling affiliate links

【发布时间】：2014-05-30 17:35:44

【问题描述】：

我已经在整个网络上搜索了解决方案，但没有找到我需要的。这是我的问题

我有一个独特的链接，由用户在 fb、twitter 等社交网络上共享。当在该链接上触发唯一的 ip 点击时，我将奖励用户一些积分，但一旦用户共享链接，我就会看到 7-8 个数据库条目，这些条目来自社交网络爬虫。所以当用户分享fb爬取并生成虚假数据库条目时。不仅是第一次爬行，而且每次都会在固定延迟后爬行并产生问题。我的链接如下所示

kodeinfo.com/user/token/network

请告诉我如何阻止该网络抓取网址

【问题讨论】：

每次我读到“我已经搜索了这么多......”，但我想都没想就知道答案，我应该得到一分钱，我会变得富有。答案：robots.txt

例如如果我搜索“防止爬行”，第一页解释了 robots.txt 的概念。顺便说一句，“防止爬行”是我想到的第一个词组。

【参考方案1】：

Mabye 检查 Facebook 或 twitter 爬虫是否使用特定的 User-Agent 并忽略这些代理。

【参考方案2】：

您可以尝试在链接上使用rel="nofollow" 属性。理论上，机器人应该尊重这一点，而不是点击链接。

更多信息来自Google。

祝你好运！