使用python进行URL编码,爬虫时解决参数乱码的问题
Posted 扈书宁
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用python进行URL编码,爬虫时解决参数乱码的问题相关的知识,希望对你有一定的参考价值。
原创曾记否? 最后发布于2018-09-10 19:40:54 阅读数 9955 收藏
展开
为什么要对URL进行encode
在写网络爬虫时,发现提交表单中的中文字符都变成了TextBox1=%B8%C5%C2%CA%C2%DB这种样子,观察这是中文对应的GB2312编码,实际上是进行了GB2312编码和urlencode。
那么为什么要对URL进行encode?
因为在标准的url规范中中文和很多的字符是不允许出现在url中的。为了字符编码(gbk、utf-8)和特殊字符不出现在url中,url转义是为了符合url的规范。
具体代码
urlencode编码:urllib中的quote方法
import urllib.parse
chinese_str = ‘中文‘
# 先进行gb2312编码
chinese_str = chinese_str.encode(‘gb2312‘)
# 输出 b‘xd6xd0xcexc4‘
# 再进行urlencode编码
chinese_str_url = urllib.parse.quote(chinese_str)
# 输出 %D6%D0%CE%C4
1
2
3
4
5
6
7
8
urldecode解码:urllib中的unquote方法
# 由于编码问题会报错,还未解决
urllib.parse.unquote(‘%D6%D0%CE%C4‘)
# :的url编码为%3A,可输出 http://www.baidu.com
urllib.parse.unquote(‘http%3A//www.baidu.com‘)
1
2
3
4
其它应用
URL中%u开头的字符
在网页的表单参数中,还遇到过%u开头的字符,得知是中文对应的Unicode编码值
以下代码可以实现字符与unicode编码值的转换
str = ‘姓名‘
# 获得urlencode编码
str = str.encode(‘unicode_escape‘)
print(str)
# 输出 b‘\u59d3\u540d‘
str=str.decode(‘utf-8‘)
print(str)
# 输出 u59d3u540d
str=str.encode(‘utf-8‘)
print(str)
# 输出 b‘\u59d3\u540d‘
str=str.decode(‘unicode_escape‘)
print(str)
# 输出 姓名
1
2
3
4
5
6
7
8
9
10
11
12
13
14
hidden隐藏域对象作为表单参数
在爬取ASP.NET平台的网站信息时,有VIEWSTATE、EVENTVALIDATION这样的hidden隐藏域对象,作为表单参数发送post请求,所以需要从网页源代码中获取。
但post请求中的参数值是URL编码值,而网页源码中获取到的是URL解码值,所以需要进行urlencode编码。
相关代码
# 网页源码上得到之后,需要urlencode编码
hid[‘VIEWSTATE‘] = urllib.parse.quote(soup.find(id="__VIEWSTATE")[‘value‘])
1
2
相关工具
谷歌浏览器的开发者工具中可以查看参数的urlencode和decode值
在线URL编码/解码工具
可选择编码格式为UTF-8或GB2312
汉字字符集编码查询
可查汉字的GB2312等中文编码和Unicode编码
————————————————
版权声明:本文为CSDN博主「曾记否?」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_38607035/java/article/details/82594822
以上是关于使用python进行URL编码,爬虫时解决参数乱码的问题的主要内容,如果未能解决你的问题,请参考以下文章