wget 如何用于计算网站上的页面数？
Posted
技术标签:
【中文标题】wget 如何用于计算网站上的页面数？【英文标题】：How can wget be used to count number of pages on a website? 【发布时间】：2013-05-11 05:48:17 【问题描述】：有潜在客户网站要求我们重新设计。经常当我问，“你的网站有多少页？”我经常得到的答案是“我不知道”。如果他们的网站上有 10 个页面，计算起来很简单，但这些网站更大，可能有数百个页面。
有没有一种方法可以在不手动操作的情况下计算网站上的所有页面？我知道 wget 可用于从网站下载页面，但我不想下载他们的所有页面，除此之外只会给我一个文件集合而不是页面。
wget 是解决这个问题的方法吗？如果是这样，它如何用于计算网站的页面？如果不使用 wget，是否有另一种可行的解决方案？请记住，我没有对他们网站的内部访问权来进行计数，必须从网络上完成。还是算内部链接就等于一个页面？
【问题讨论】：
【参考方案1】：如果网站是静态的或小型的，您可以轻松计算网页。
但是如果网站太大，比如***，那么你可以使用Google indexing。
只要去谷歌搜索：site:***.com
返回页数：About 17,000,000 results
你可以在每个网站前加上site:，然后google会显示该网站的总页数
【讨论】：
以上是关于wget 如何用于计算网站上的页面数？的主要内容，如果未能解决你的问题，请参考以下文章