python爬取有道翻译
Posted 何梦吉他
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬取有道翻译相关的知识,希望对你有一定的参考价值。
1.准备工作
先来到有道在线翻译的界面http://fanyi.youdao.com/
F12 审查元素 ->选Network一栏,然后F5刷新 (如果看不到Method一栏,右键Name栏,选中Method)
输入文字自动翻译后发现Method一栏有GET还有POST;GET是指从服务器请求和获得数据,POST是向指定服务器提交被处理的数据、
随便打开一个POST,找到preview可以看到我们输入的“我爱你一生一世”数据,可以证明post的提交数据的
下面分析一下Headers各个字段的意义;User-agent字段很重要
下面来看一下request模块中urlopen方法,查看文档;
发现urlopen有一个data参数,如果参数没赋值(默认None)就是GET形式,如果data参数被赋值了,就以POST形式提交
在这里,data参数其实是一个字典 ;就是源代码中From Data的数据
下面一篇文章是对urlencode与unquote的详细解释:(urllib库里可惜没有urldecode函数)
https://www.cnblogs.com/caicaihong/p/5687522.html
为什么要进行编码和解码呢?------》对于一些中文或者字符,url是不识别的,需要进行编码转换!
encode(\'utf-8\')把unicode的形式变成utf-8
decode(\'utf-8\')把utf-8形式变成Unicode编码形式
2.下面进行敲!
以上是关于python爬取有道翻译的主要内容,如果未能解决你的问题,请参考以下文章
Python 爬虫篇 - 调用有道翻译api接口翻译外文网站的整篇西班牙文实战演示。爬取西班牙语文章调用有道翻译接口进行整篇翻译