如何使用python在每个域和子域中查找站点地图
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何使用python在每个域和子域中查找站点地图相关的知识，希望对你有一定的参考价值。
我想知道如何使用python在每个域和子域中找到站点地图？一些例子：
abcd.com/sitemap.xml
abcd.com/sitemap.html
abcd.com/sitemap.html
sub.abcd.com/sitemap.xml
等等
最可能的站点地图名称，位置以及扩展名是什么？
答案
请先查看robots.txt文件。这就是我通常要做的。
某些域确实提供了多个站点地图，并且在某些情况下XML文件超过200个。
[请记住，根据sitemap.org上的常见问题解答，可以将站点地图文件压缩。因此，您可能也要考虑sitemap.xml.gz！
以上是关于如何使用python在每个域和子域中查找站点地图的主要内容，如果未能解决你的问题，请参考以下文章