有没有办法根据谁是客户端，网络爬虫和网络应用客户端呈现不同的页面？

Posted 2021-04-12

我正在设置我的网页以支持ssr，这是我的问题，我可以知道客户端是否是网络爬虫，所以我可以做ssr？

通过这种方式，我将为不是网络抓取工具的客户端提供网页服务

我已经看到要验证google-bot-crawler你可以使用https://stackoverflow.com/a/3308728/8991228

但是有一般的方法吗？

答案

有一个标题：User-Agent，通常在他的帮助下，你能够识别它是浏览器还是机器人，但......

伪造此标题的难度为0。

因此，使用其他验证方法，例如， Google，正如您所示。

但是......并非所有机器人都显示为机器人。例如，谷歌倾向于检查是否有其他内容被发送到僵尸程序。

总而言之：如果您知道机器人接受它（例如Facebook链接共享者），您可以这样做