WordPress默认自带的robots.txt文件设置在哪里
Posted xuwen777
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了WordPress默认自带的robots.txt文件设置在哪里相关的知识，希望对你有一定的参考价值。
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，robots默认都是放在网站根目录。刚建好的WordPress网站，打开robots.txt是能访问的，但是在网站目录却找不到任何robots.txt文件，其实默认的robots文件放在wp-includes/functions.php中，通过搜索robots大概在1319行可进行修改
以上是关于WordPress默认自带的robots.txt文件设置在哪里的主要内容，如果未能解决你的问题，请参考以下文章
scrapy爬虫出现Forbidden by robots.txt
scrapy下载图片报[scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt:错误