如何检查请求是不是来自 google、facebook、twitter 和 bing 爬虫？ [复制]

Posted 2023-03-13

【中文标题】如何检查请求是不是来自 google、facebook、twitter 和 bing 爬虫？ [复制]

【英文标题】：How to check if the request is from google, facebook, twitter and bing crawlers? [duplicate]如何检查请求是否来自 google、facebook、twitter 和 bing 爬虫？ [复制]

【发布时间】：2016-01-03 09:59:32

【问题描述】：

我想为 Web 应用程序提供服务，并使用双向数据绑定在 javascript 中编译模板。 另一方面，我想为网络爬虫生成现成的 html 内容。

如何知道请求是否来自流行的网络爬虫/机器人，例如 Google、bing、facebook、twitter？？

【问题讨论】：

他们通常会通过用户代理告诉您。它会说“google bot”或“Yahoo”或“bing”或类似的东西。

我怎么没想到

你应该回答我会接受的

***.com/questions/677419/… - 这回答了您的问题并包括所有搜索引擎等的列表。

【参考方案1】：

他们通常通过用户代理发送此类信息，例如

Google 抓取工具 雅虎 必应

或类似的东西，在php中你可以找到用户代理

$_SERVER['HTTP_USER_AGENT'];

但是，您应该知道用户代理可能会被欺骗。