机器人不访问元标记和开放图

Posted

技术标签:

【中文标题】机器人不访问元标记和开放图【英文标题】:Bots don't access Metatags and Open Graph 【发布时间】:2022-01-20 06:38:21 【问题描述】:

我们的网站上有一个大问题,当我们检查代码时,机器人似乎无法访问我们的元标记和 opengraph,而我们网站上有一些。

我们没有“禁止关注”标签。

我们在 theoffline.fr 上的标题:

<head><link rel="preconnect" href="https://fonts.googleapis.com"><link rel="preconnect" href="https://fonts.gstatic.com" crossorigin="true"><link rel="stylesheet" data-href="https://fonts.googleapis.com/css2?family=Public+Sans:wght@400;500;600;700&display=swap"><script type="text/javascript" id="hs-script-loader" async="" defer="" src="//js-eu1.hs-scripts.com/25053800.js"></script><link href="/font/medium/made-mirage-medium.css" rel="stylesheet"><link rel="preconnect" href="https://fonts.gstatic.com" crossorigin=""><meta charset="utf-8"><meta name="viewport" content="width=device-width"><meta name="robots" content="index,follow"><meta name="googlebot" content="index,follow"><meta name="description" content="Réservez facilement un break ou weekend réussi en Europe grâce à nos destinations, vols et hôtels triés sur le volet."><meta property="og:title" content="On part en weekend ?"><meta property="og:description" content="The Offline permet de réserver simplement des breaks réussis"><meta property="og:image" content="https://res.cloudinary.com/thiago9li214/image/upload/w_600/v1637599694/metaimage_home.png"><meta property="og:image:alt" content="home cover"><meta name="next-head-count" content="9"><noscript data-n-css=""></noscript><script defer="" nomodule="" src="/_next/static/chunks/polyfills-a40ef1678bae11e696dba45124eadd70.js"></script><script src="/_next/static/chunks/webpack-c1b484df1c4f738003fb.js" defer=""></script><script src="/_next/static/chunks/framework-c93ed74a065331c4bd75.js" defer=""></script><script src="/_next/static/chunks/main-c4f2541b93e4ae8b71f8.js" defer=""></script><script src="/_next/static/chunks/pages/_app-45bf83b2e82b8ad55168.js" defer=""></script><script src="/_next/static/chunks/2c796e83-5c2bd38f513cac1a72df.js" defer=""></script><script src="/_next/static/chunks/493-0bf2abc775dda38e9783.js" defer=""></script><script src="/_next/static/chunks/962-5e3c0ea702c4b2b26f61.js" defer=""></script><script src="/_next/static/chunks/294-7bbb51a7ddd830e6cbcd.js" defer=""></script><script src="/_next/static/chunks/419-6b0210b57b5a60af5115.js" defer=""></script><script src="/_next/static/chunks/pages/index-d8a59dfbac10e5b77106.js" defer=""></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_buildManifest.js" defer=""></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_ssgManifest.js" defer="">

Facebook bot 发现了什么(来自调试器):

<!DOCTYPE html>
<html lang="fr">
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<link href="/font/medium/made-mirage-medium.css" rel="stylesheet">
<link rel="preconnect" href="https://fonts.googleapis.com">
<link rel="preconnect" href="https://fonts.gstatic.com" crossorigin="true">
<link rel="stylesheet" data-href="https://fonts.googleapis.com/css2?family=Public+Sans:wght@400;500;600;700&amp;display=swap">
<script type="text/javascript" id="hs-script-loader" async="" defer src="//js-eu1.hs-scripts.com/25053800.js"></script><link rel="preconnect" href="https://fonts.gstatic.com" crossorigin>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width">
<meta name="next-head-count" content="2">
<script defer nomodule="" src="/_next/static/chunks/polyfills-a40ef1678bae11e696dba45124eadd70.js"></script><script src="/_next/static/chunks/webpack-c1b484df1c4f738003fb.js" defer></script><script src="/_next/static/chunks/framework-c93ed74a065331c4bd75.js" defer></script><script src="/_next/static/chunks/main-c4f2541b93e4ae8b71f8.js" defer></script><script src="/_next/static/chunks/pages/_app-45bf83b2e82b8ad55168.js" defer></script><script src="/_next/static/chunks/2c796e83-5c2bd38f513cac1a72df.js" defer></script><script src="/_next/static/chunks/493-0bf2abc775dda38e9783.js" defer></script><script src="/_next/static/chunks/962-5e3c0ea702c4b2b26f61.js" defer></script><script src="/_next/static/chunks/294-7bbb51a7ddd830e6cbcd.js" defer></script><script src="/_next/static/chunks/419-6b0210b57b5a60af5115.js" defer></script><script src="/_next/static/chunks/pages/index-d8a59dfbac10e5b77106.js" defer></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_buildManifest.js" defer></script><script src="/_next/static/ZM4D0O7c_ysUL_ZkSKtqG/_ssgManifest.js" defer></script><style data-

对可能出现的问题有什么想法吗?

【问题讨论】:

你是怎么把它加到头上的?在普通浏览器上,我也没有在源代码中获得您所说的标签。我的猜测是您正在使用一些客户端脚本添加它们。使用next/head 或修改您的_document 文件。为了减少一些工作量,你可以直接使用这个插件:github.com/garmeeh/next-seo 【参考方案1】:

您是否尝试将以下代码添加到您的robots.txt

User-agent: facebookexternalhit
Disallow:

您还必须通过robots.txt检查是否禁止某些机器人

【讨论】:

不仅是 Facebook,还有像 Google、metatags.io 这样的每个机器人......我们的 robots.txt 看起来很干净:用户代理:* 站点地图:theoffline.fr/sitemap.xml Google bot 需要一些时间来抓取内容,如果您已将站点地图添加到 Google Search Console,则可能需要一天或两周到几周的时间,具体取决于内容。从外观上看,我可以看到 og 标签正在按预期工作,并且目前是从 Facebook/Meta 中提取的:developers.facebook.com/tools/debug/…

以上是关于机器人不访问元标记和开放图的主要内容,如果未能解决你的问题,请参考以下文章

元标记与robots.txt

Wordpress删除机器人元标记noindex

当我有robots.txt时,我应该删除元机器人(索引,跟随)吗?

网站元数据meta标签

当我有 robots.txt 时,我应该删除元机器人(索引、关注)吗?

HTML5 的开放图验证