机器人不访问元标记和开放图
Posted
技术标签:
【中文标题】机器人不访问元标记和开放图【英文标题】：Bots don't access Metatags and Open Graph 【发布时间】：2022-01-20 06:38:21 【问题描述】：我们的网站上有一个大问题，当我们检查代码时，机器人似乎无法访问我们的元标记和 opengraph，而我们网站上有一些。
我们没有“禁止关注”标签。
我们在 theoffline.fr 上的标题：
<head><link rel="preconnect" href="https://fonts.googleapis.com"><link rel="preconnect" href="https://fonts.gstatic.com" crossorigin="true"><link rel="stylesheet" data-href="https://fonts.googleapis.com/css2?family=Public+Sans:wght@400;500;600;700&amp;display=swap"><script type="text/javascript" id="hs-script-loader" async="" defer="" src="//js-eu1.hs-scripts.com/25053800.js"></script><link href="/font/medium/made-mirage-medium.css" rel="stylesheet"><link rel="preconnect" href="https://fonts.gstatic.com" crossorigin=""><meta charset="utf-8"><meta name="viewport" content="width=device-width"><meta name="robots" content="index,follow"><meta name="googlebot" content="index,follow"><meta name="description" content="Réservez facilement un break ou weekend réussi en Europe grâce à nos destinations, vols et hôtels triés sur le volet."><meta property="og:title" content="On part en weekend ?"><meta property="og:description" content="The Offline permet de réserver simplement des breaks réussis"><meta property="og:image" content="https://res.cloudinary.com/thiago9li214/image/upload/w_600/v1637599694/metaimage_home.png"><meta property="og:image:alt" content="home cover"><meta name="next-head-count" content="9"><noscript data-n-css=""></noscript><script defer="" nomodule="" src="/_next/static/chunks/polyfills-a40ef1678bae11e696dba45124eadd70.js"></script><script src="/_next/static/chunks/webpack-c1b484df1c4f738003fb.js" defer=""></script><script src="/_next/static/chunks/framework-c93ed74a065331c4bd75.js" defer=""></script><script src="/_next/static/chunks/main-c4f2541b93e4ae8b71f8.js" defer=""></script><script src="/_next/static/chunks/pages/_app-45bf83b2e82b8ad55168.js" defer=""></script><script src="/_next/static/chunks/2c796e83-5c2bd38f513cac1a72df.js" defer=""></script><script src="/_next/static/chunks/493-0bf2abc775dda38e9783.js" defer=""></script><script src="/_next/static/chunks/962-5e3c0ea702c4b2b26f61.js" defer=""></script><script src="/_next/static/chunks/294-7bbb51a7ddd830e6cbcd.js" defer=""></script><script src="/_next/static/chunks/419-6b0210b57b5a60af5115.js" defer=""></script><script src="/_next/static/chunks/pages/index-d8a59dfbac10e5b77106.js" defer=""></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_buildManifest.js" defer=""></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_ssgManifest.js" defer="">Facebook bot 发现了什么（来自调试器）：
<!DOCTYPE html>
<html lang="fr">
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<link href="/font/medium/made-mirage-medium.css" rel="stylesheet">
<link rel="preconnect" href="https://fonts.googleapis.com">
<link rel="preconnect" href="https://fonts.gstatic.com" crossorigin="true">
<link rel="stylesheet" data-href="https://fonts.googleapis.com/css2?family=Public+Sans:wght@400;500;600;700&display=swap">
<script type="text/javascript" id="hs-script-loader" async="" defer src="//js-eu1.hs-scripts.com/25053800.js"></script><link rel="preconnect" href="https://fonts.gstatic.com" crossorigin>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width">
<meta name="next-head-count" content="2">
<script defer nomodule="" src="/_next/static/chunks/polyfills-a40ef1678bae11e696dba45124eadd70.js"></script><script src="/_next/static/chunks/webpack-c1b484df1c4f738003fb.js" defer></script><script src="/_next/static/chunks/framework-c93ed74a065331c4bd75.js" defer></script><script src="/_next/static/chunks/main-c4f2541b93e4ae8b71f8.js" defer></script><script src="/_next/static/chunks/pages/_app-45bf83b2e82b8ad55168.js" defer></script><script src="/_next/static/chunks/2c796e83-5c2bd38f513cac1a72df.js" defer></script><script src="/_next/static/chunks/493-0bf2abc775dda38e9783.js" defer></script><script src="/_next/static/chunks/962-5e3c0ea702c4b2b26f61.js" defer></script><script src="/_next/static/chunks/294-7bbb51a7ddd830e6cbcd.js" defer></script><script src="/_next/static/chunks/419-6b0210b57b5a60af5115.js" defer></script><script src="/_next/static/chunks/pages/index-d8a59dfbac10e5b77106.js" defer></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_buildManifest.js" defer></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_ssgManifest.js" defer></script><style data-对可能出现的问题有什么想法吗？
【问题讨论】：
你是怎么把它加到头上的？在普通浏览器上，我也没有在源代码中获得您所说的标签。我的猜测是您正在使用一些客户端脚本添加它们。使用next/head 或修改您的_document 文件。为了减少一些工作量，你可以直接使用这个插件：github.com/garmeeh/next-seo
【参考方案1】：
您是否尝试将以下代码添加到您的robots.txt：
User-agent: facebookexternalhit
Disallow:
您还必须通过robots.txt检查是否禁止某些机器人
【讨论】：
不仅是 Facebook，还有像 Google、metatags.io 这样的每个机器人......我们的 robots.txt 看起来很干净：用户代理：* 站点地图：theoffline.fr/sitemap.xml Google bot 需要一些时间来抓取内容，如果您已将站点地图添加到 Google Search Console，则可能需要一天或两周到几周的时间，具体取决于内容。从外观上看，我可以看到 og 标签正在按预期工作，并且目前是从 Facebook/Meta 中提取的：developers.facebook.com/tools/debug/…以上是关于机器人不访问元标记和开放图的主要内容，如果未能解决你的问题，请参考以下文章
当我有robots.txt时，我应该删除元机器人（索引，跟随）吗？