刮取密码保护目录（使用python）

Posted 2023-02-23

【中文标题】刮取密码保护目录（使用python）

【英文标题】：Scrape password protected directory (with python)

【发布时间】：2017-03-20 14:10:12

【问题描述】：

我有一个受密码保护的目录，里面有很多文件，我正在尝试使用 Python 的 BeautifulSoup 下载这些文件。

问题是因为它只是一个受密码保护的目录并且没有登录表单，我似乎无法像this example那样使用Mechanize？

有人建议吗？

【问题讨论】：

请展示您到目前为止所做的尝试。 SO 不是一个建议论坛。

【参考方案1】：

不需要进行屏幕自动化登录。这是使用 HTTP 身份验证，像 urllib2、urllib3 和 request（构建在 urllib 之上的库）等 HTTP 库都支持。

更简单的是，您可以在 URL 前加上用户名和密码，这就是 HTTP 库在后台所做的。

https://username:[e-mail]