列出某个域的所有网站

Posted 2021-04-10

我有一个学校项目，我必须列出我所在国家政府的所有网站（.gov.pt），我正在努力想到实现这一目标的最好方法......有人可以帮助我吗？我的老师建议创建一个网络爬虫或手动搜索网站，基本上我们可以使用我们想要实现的任何东西

提前致谢

答案

可以使用Python和Beautiful Soup来抓取信息。当您知道要抓取哪些信息时，它非常易于使用。