急.....中文url编码问题

Posted 2023-05-10

"测试"这个词在百度查询是这样的．
http://www.baidu.com/s?cl=3&wd=%B2%E2%CA%D4
这说明在百度"测试"的url编码是"%B2%E2%CA%D4"

在google查询"测试"这个词是
http://www.google.cn/search?hl=zh-CN&q=%E6%B5%8B%E8%AF%95
这说明在google"测试"的url编码是"%E6%B5%8B%E8%AF%95"

这两种代码的区别是什么？应该如何相互转换
编码的区别我大致知道,不过你们的回答让我更明白一些.
但是关键应该如何相互转换.....
就是把这种utf-8的编码转换成gb2312的编码以及如何把gb2312编码转换成utf-8的编码.....
便与两种不同编码的网站互访

由%号和字母数字组成的乱码，我们可以发现它们有一些规律，即都是三个字符一组，排在最前面的肯定是百分号%。它们不是什么乱码，它们其实是UTF-8编码或者gbk(GB2312)编码，那些百分号（%）后面的数字和字母其实就是16进制数。

中文的gbk(GB2312)编码

如果是中文的gbk(GB2312)编码，那么它的形式应该是这样的，即一个汉字对应两组%xx，即%xx%xx

中文的UTF-8编码

如果是中文的UTF-8编码，那么它的形式应该是这样的，即一个汉字对应三组%xx，即%xx%xx%xx

百度用的是gbk(GB2312)编码
google用的是UTF-8编码 参考技术A B2E2、CAD4是“测试”的GB编码（有时也称为ASCII码），百度使用这样的代码是GBK码（兼容GB2312），说明其源程序也是使用的GB码。

E6B58B、E8AF95是“测试”的UTF-8编码，GOOGLE使用UTF-8编码是因为其源程序也是使用的UTF-8编码。

UTF-8的优点是一个程序可以处理多种语言，但是需要占用更多的存储空间，而一般认为GB码的程序不便于处理多种编码，其实也不完全是这样，只要使用纯英文编写程序，采取一定的技巧，仍然可以处理多种语言，我的网站和所有的程序都是使用ANSI编码。

url编码问题在python中怎么解决

最近在抓取一些js代码产生的动态数据，需要模拟js请求获得所需用的数据，遇到对url进行编码和解码的问题，就把遇到的问题总结一下，有总结才有进步，才能使学到的知识更加清晰。对url进行编码和解码，python提供了很方便的接口进行调用。

url中的query带有特殊字符（不是url的保留字）时需要进行编码。当url中带有汉字时，需要特殊的处理才能正确编码，以下都只针对这种情形，当然也适用于纯英文字符的url。

(1) url编码：

import urllib

url = 'wd=哈哈'   #如果此网站编码是gbk的话，需要进行解码，从gbk解码成unicode，再从Unicode编码编码为utf-8格式。

url = url.decode('gbk', 'replace')

print urllib.quote(url.encode('utf-8', 'replace'))

结果: 3a%2f%2ftest.com%2fs%3fwd%3d%e5%93%88%e5%93%88

(2) url解码:

import urllib

encoded_url = est.com%2fs%3fwd%3d%e5%93%88%e5%93%88'

print urllib.unquote(encoded_url).decode('utf-8', 'replace').encode('gbk', 'replace')  #反过来

函数调用的参数以及结果都是utf-8编码的，所以在对url编码时，需要将参数串的编码从原始编码转换成utf-8，

对url解码时，需要将解码结果从utf-8转换成原始编码格式。

依据网站采用的编码不同，或是gbk或是utf-8，赋赋予不同的编码，进行不同的url转码。GBK格式，一个中文字符转为%xx%xx，共两组；utf-8格式，一个中文字符转为%xx%xx%xx，共三组。

>>> import sys,urllib 
 

>>> s = '杭州' 

>>> urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))
 

%BA%BC%D6%DD  

>>> urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))
 

'%E6%9D%AD%E5%B7%9E' 

[python] view plain copy

a = "墨西哥女孩被拐4年接客4万次 生的孩子成为人质-搜狐新闻"  

print urllib.quote(urllib.quote(a))  

进行两次编码转换后，会变为：%25E5%25A2%25A8%25E8%25A5%25BF%25E5%2593%25A5%25E5%25A5%25B3%25E5%25AD%25A9%25E8%25A2%25AB%25E6%258B%25904%25E5%25B9.................................................................................这样的形式。

同样需要两次解码后才能得到中文。



最近用python写了个小爬虫自动下点东西，但是url 是含中文的，而且中文似乎是 gbk 编码然后转成 url的。举个例子吧，我如果有个unicode字符串“历史上那些牛人们.pdf”，那么我转换成url之后是， 
t="%20%E5%8E%86%E5%8F%B2%E4%B8%8A%E9%82%A3%E4%BA%9B%E7%89%9B%E4%BA%BA%E4%BB%AC.pdf"， 
但是对方网站给的是 s="%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF"


>>>print urllib.unquote("%C0%FA%CA%B7%C9%CF%C4%C7%D0%A9%C5%A3%C8%CB%C3%C7.PDF").decode('gbk').encode('utf-8')


>>>历史上那些牛人们.PDF

参考技术A

    内容摘要：python 爬虫url编码处理首先使用request请求一下 打印 response.apparent_encoding 查看页面的编码 然后转一下比如  from urllib.parse import quotetest1 = '人力资源'.encode('gb23......

    python 爬虫url编码处理

    首先使用request请求一下 打印

    response.apparent_encoding 查看页面的编码

    然后转一下比如

    from urllib.parse import quote

    test1 = '人力资源'.encode('gb2312')

    test1_1 = quote(test1)

    print(test1_1)

    就得到了url的编码

    (adsbygoogle = window.adsbygoogle || []).push();

    赏