我如何使用python通过https下载pdf文件

Posted 2023-02-24

【中文标题】我如何使用python通过https下载pdf文件

【英文标题】：How do i download pdf file over https with python

【发布时间】：2016-02-02 23:02:01

【问题描述】：

我正在编写一个python脚本，它将根据URL中给出的格式将pdf文件保存在本地。例如。

https://Hostname/saveReport/file_name.pdf   #saves the content in PDF file.

我正在通过 python 脚本打开这个 URL：

 import webbrowser
 webbrowser.open("https://Hostname/saveReport/file_name.pdf")  

网址包含大量图片和文字。 打开此 URL 后，我想使用 python 脚本将文件保存为 pdf 格式。

这是我到目前为止所做的。 代码 1：

import requests
url="https://Hostname/saveReport/file_name.pdf"    #Note: It's https
r = requests.get(url, auth=('usrname', 'password'), verify=False)
file = open("file_name.pdf", 'w')
file.write(r.read())
file.close()

代码 2：

 import urllib2
 import ssl
 url="https://Hostname/saveReport/file_name.pdf"
 context = ssl._create_unverified_context()
 response = urllib2.urlopen(url, context=context)  #How should i pass authorization details here?
 html = response.read()

在上面的代码中，我得到：urllib2.HTTPError: HTTP Error 401: Unauthorized

如果我使用 Code 2，我如何传递授权细节？

【问题讨论】：

您想要使用webbrowser.open、requests.get 或urllib2.urlopen 的解决方案吗？

@Robᵩ - 我已经尝试过上述方法。所以 requests 或 urllib2 任何东西都可以工作。

【参考方案1】：

我认为这会奏效

import requests
import shutil
url="https://Hostname/saveReport/file_name.pdf"    #Note: It's https
r = requests.get(url, auth=('usrname', 'password'), verify=False,stream=True)
r.raw.decode_content = True
with open("file_name.pdf", 'wb') as f:
        shutil.copyfileobj(r.raw, f)

【参考方案2】：

您可以这样做的一种方法是：

import urllib3
urllib3.disable_warnings()
url = r"https://websitewithfile.com/file.pdf"
fileName = r"file.pdf"
with urllib3.PoolManager() as http:
    r = http.request('GET', url)
    with open(fileName, 'wb') as fout:
        fout.write(r.data)

【参考方案3】：

你可以试试这样的：

import requests
response = requests.get('https://websitewithfile.com/file.pdf',verify=False, auth=('user', 'pass'))
with open('file.pdf','w') as fout:
   fout.write(response.read()):

【讨论】：

response.text 可能是一个糟糕的选择，因为它涉及解码步骤。也许用wb 打开文件，然后写response.content。

response.raw 我认为

显然，response.iter_chunk 是request 的“检索文档的首选和推荐方式”：docs.python-requests.org/en/latest/user/quickstart/…

我编辑了一个更好的方法来获取响应内容

【参考方案4】：

对于某些文件 - 至少 tar 档案（甚至所有其他文件）您可以使用 pip：

import sys
from subprocess import call, run, PIPE
url = "https://blabla.bla/foo.tar.gz"
call([sys.executable, "-m", "pip", "download", url], stdout=PIPE, stderr=PIPE)

但是您应该以其他方式确认下载是否成功，因为 pip 会为任何不是包含 setup.py 的档案的文件引发错误，因此 stderr=PIPE （或者您可以通过解析来确定下载是否成功子进程错误消息）。