url编码问题在python中怎么解决

Posted 2023-04-02

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了url编码问题在python中怎么解决相关的知识，希望对你有一定的参考价值。

最近在抓取一些js代码产生的动态数据，需要模拟js请求获得所需用的数据，遇到对url进行编码和解码的问题，就把遇到的问题总结一下，有总结才有进步，才能使学到的知识更加清晰。对url进行编码和解码，python提供了很方便的接口进行调用。

url中的query带有特殊字符（不是url的保留字）时需要进行编码。当url中带有汉字时，需要特殊的处理才能正确编码，以下都只针对这种情形，当然也适用于纯英文字符的url。

(1) url编码：

import urllib

url = 'wd=哈哈' #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。

url = url.decode('gbk', 'replace')

print urllib.quote(url.encode('utf-8', 'replace'))

结果: 3a%2f%2ftest.com%2fs%3fwd%3d%e5%93%88%e5%93%88

(2) url解码:

import urllib

encoded_url = est.com%2fs%3fwd%3d%e5%93%88%e5%93%88'

print urllib.unquote(encoded_url).decode('utf-8', 'replace').encode('gbk', 'replace') #反过来

函数调用的参数以及结果都是utf-8编码的，所以在对url编码时，需要将参数串的编码从原始编码转换成utf-8，

对url解码时，需要将解码结果从utf-8转换成原始编码格式。

依据网站采用的编码不同，或是gbk或是utf-8，赋赋予不同的编码，进行不同的url转码。GBK格式，一个中文字符转为%xx%xx，共两组；utf-8格式，一个中文字符转为%xx%xx%xx，共三组。

>>> import sys,urllib

>>> s = '杭州'

>>> urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))

%BA%BC%D6%DD

>>> urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))

'%E6%9D%AD%E5%B7%9E'

[python] view plain copy

a = "墨西哥女孩被拐4年接客4万次生的孩子成为人质-搜狐新闻"

print urllib.quote(urllib.quote(a))

进行两次编码转换后，会变为：%25E5%25A2%25A8%25E8%25A5%25BF%25E5%2593%25A5%25E5%25A5%25B3%25E5%25AD%25A9%25E8%25A2%25AB%25E6%258B%25904%25E5%25B9.................................................................................这样的形式。

同样需要两次解码后才能得到中文。

最近用python写了个小爬虫自动下点东西，但是url 是含中文的，而且中文似乎是 gbk 编码然后转成 url的。举个例子吧，我如果有个unicode字符串“历史上那些牛人们.pdf”，那么我转换成url之后是，
t="%20%E5%8E%86%E5%8F%B2%E4%B8%8A%E9%82%A3%E4%BA%9B%E7%89%9B%E4%BA%BA%E4%BB%AC.pdf"，
但是对方网站给的是 s="%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"

>>>print urllib.unquote("%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF").decode('gbk').encode('utf-8')

>>>历史上那些牛人们.PDF

参考技术A

内容摘要：python 爬虫url编码处理首先使用request请求一下打印 response.apparent_encoding 查看页面的编码然后转一下比如 from urllib.parse import quotetest1 = '人力资源'.encode('gb23......

python 爬虫url编码处理

首先使用request请求一下打印

response.apparent_encoding 查看页面的编码

然后转一下比如

from urllib.parse import quote

test1 = '人力资源'.encode('gb2312')

test1_1 = quote(test1)

print(test1_1)

就得到了url的编码

(adsbygoogle = window.adsbygoogle || []).push();

赏

使用python进行URL编码，爬虫时解决参数乱码的问题

原创曾记否？最后发布于2018-09-10 19:40:54 阅读数 9955 收藏
展开
为什么要对URL进行encode
在写网络爬虫时，发现提交表单中的中文字符都变成了TextBox1=%B8%C5%C2%CA%C2%DB这种样子，观察这是中文对应的GB2312编码，实际上是进行了GB2312编码和urlencode。

那么为什么要对URL进行encode？

因为在标准的url规范中中文和很多的字符是不允许出现在url中的。为了字符编码（gbk、utf-8）和特殊字符不出现在url中，url转义是为了符合url的规范。

具体代码
urlencode编码：urllib中的quote方法

import urllib.parse
chinese_str = ‘中文‘
# 先进行gb2312编码
chinese_str = chinese_str.encode(‘gb2312‘)
# 输出 b‘xd6xd0xcexc4‘
# 再进行urlencode编码
chinese_str_url = urllib.parse.quote(chinese_str)
# 输出 %D6%D0%CE%C4
1
2
3
4
5
6
7
8
urldecode解码：urllib中的unquote方法

# 由于编码问题会报错，还未解决
urllib.parse.unquote(‘%D6%D0%CE%C4‘)
# ：的url编码为%3A，可输出 http://www.baidu.com
urllib.parse.unquote(‘http%3A//www.baidu.com‘)
1
2
3
4
其它应用
URL中%u开头的字符

在网页的表单参数中，还遇到过%u开头的字符，得知是中文对应的Unicode编码值

以下代码可以实现字符与unicode编码值的转换

str = ‘姓名‘
# 获得urlencode编码
str = str.encode(‘unicode_escape‘)
print(str)
# 输出 b‘\u59d3\u540d‘
str=str.decode(‘utf-8‘)
print(str)
# 输出 u59d3u540d
str=str.encode(‘utf-8‘)
print(str)
# 输出 b‘\u59d3\u540d‘
str=str.decode(‘unicode_escape‘)
print(str)
# 输出姓名
1
2
3
4
5
6
7
8
9
10
11
12
13
14
hidden隐藏域对象作为表单参数

在爬取ASP.NET平台的网站信息时，有VIEWSTATE、EVENTVALIDATION这样的hidden隐藏域对象，作为表单参数发送post请求，所以需要从网页源代码中获取。

但post请求中的参数值是URL编码值，而网页源码中获取到的是URL解码值，所以需要进行urlencode编码。