带有身份验证的 urllib.request.urlopen(url)

Posted 2023-02-22

【中文标题】带有身份验证的 urllib.request.urlopen(url)

【英文标题】：urllib.request.urlopen(url) with Authentication

【发布时间】：2017-10-29 14:31:40

【问题描述】：

这几天我一直在玩漂亮的汤和解析网页。我一直在使用一行代码，它在我编写的所有脚本中都是我的救星。代码行是：

r = requests.get('some_url', auth=('my_username', 'my_password')).

但是...

我想用 (OPEN A URL WITH AUTHENTICATION) 做同样的事情：

(1) sauce = urllib.request.urlopen(url).read() (1)
(2) soup = bs.BeautifulSoup(sauce,"html.parser") (2)

我无法打开网址并阅读需要身份验证的网页。 我如何实现这样的目标：

  (3) sauce = urllib.request.urlopen(url, auth=(username, password)).read() (3) 
instead of (1)

【参考方案1】：

你正在使用HTTP Basic Authentication：

import urllib2, base64

request = urllib2.Request(url)
base64string = base64.b64encode('%s:%s' % (username, password))
request.add_header("Authorization", "Basic %s" % base64string)   
result = urllib2.urlopen(request)

所以你应该 base64 对用户名和密码进行编码，并将其作为 Authorization 标头发送。

【讨论】：

import urllib2 ModuleNotFoundError: No module named 'urllib2'

见***.com/questions/2792650/…

对于 python3 不起作用。错误：TypeError：预期的类似字节的对象，而不是 str

请参阅***.com/a/24648149/4609258 了解此示例在 python3 中的工作版本

【参考方案2】：

查看官方文档中的HOWTO Fetch Internet Resources Using The urllib Package：

# create a password manager
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()

# Add the username and password.
# If we knew the realm, we could use it instead of None.
top_level_url = "http://example.com/foo/"
password_mgr.add_password(None, top_level_url, username, password)

handler = urllib.request.HTTPBasicAuthHandler(password_mgr)

# create "opener" (OpenerDirector instance)
opener = urllib.request.build_opener(handler)

# use the opener to fetch a URL
opener.open(a_url)

# Install the opener.
# Now all calls to urllib.request.urlopen use our opener.
urllib.request.install_opener(opener)

【讨论】：

请参阅问题中的第 (2) 行。我需要用漂亮的汤来解析酱汁。我如何使用您的代码实现这一目标？

AbstractBasicAuthHandler does not support the following scheme: 'Bearer'

@ChristianKönig Python38\lib\urllib\request.py", line 1014, in http_error_auth_reqed raise ValueError("AbstractBasicAuthHandler does not " ValueError: AbstractBasicAuthHandler does not support the following scheme: 'Digest'

【参考方案3】：

与urllib3:

import urllib3

http = urllib3.PoolManager()
myHeaders = urllib3.util.make_headers(basic_auth='my_username:my_password')
http.request('GET', 'http://example.org', headers=myHeaders)