基于python爬取有道翻译过程图解


Posted in Python onMarch 31, 2020

1.准备工作

先来到有道在线翻译的界面http://fanyi.youdao.com/

F12 审查元素 ->选Network一栏,然后F5刷新 (如果看不到Method一栏,右键Name栏,选中Method)

基于python爬取有道翻译过程图解

输入文字自动翻译后发现Method一栏有GET还有POST;GET是指从服务器请求和获得数据,POST是向指定服务器提交被处理的数据、

随便打开一个POST,找到preview可以看到我们输入的“我爱你一生一世”数据,可以证明post的提交数据的

基于python爬取有道翻译过程图解

下面分析一下Headers各个字段的意义;User-agent字段很重要

基于python爬取有道翻译过程图解

基于python爬取有道翻译过程图解

下面来看一下request模块中urlopen方法,查看文档;

发现urlopen有一个data参数,如果参数没赋值(默认None)就是GET形式,如果data参数被赋值了,就以POST形式提交

基于python爬取有道翻译过程图解

在这里,data参数其实是一个字典 ;就是源代码中From Data的数据

下面一篇文章是对urlencode与unquote的详细解释:(urllib库里可惜没有urldecode函数)

为什么要进行编码和解码呢?------》对于一些中文或者字符,url是不识别的,需要进行编码转换!encode('utf-8')把unicode的形式变成utf-8decode('utf-8')把utf-8形式变成Unicode编码形式2.下面进行敲!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之有容乃大的list(3)
Sep 15 Python
python实现合并两个数组的方法
May 16 Python
使用Python的PIL模块来进行图片对比
Feb 18 Python
浅谈python为什么不需要三目运算符和switch
Jun 17 Python
Python实现图片滑动式验证识别方法
Nov 09 Python
对python多线程中互斥锁Threading.Lock的简单应用详解
Jan 11 Python
python sklearn库实现简单逻辑回归的实例代码
Jul 01 Python
关于python pycharm中输出的内容不全的解决办法
Jan 10 Python
python numpy--数组的组合和分割实例
Feb 24 Python
python操作yaml说明
Apr 08 Python
Django实现前台上传并显示图片功能
May 29 Python
Python urllib request模块发送请求实现过程解析
Dec 10 Python
django实现将修改好的新模型写入数据库
Mar 31 #Python
Python urlencode和unquote函数使用实例解析
Mar 31 #Python
Python响应对象text属性乱码解决方案
Mar 31 #Python
django执行数据库查询之后实现返回的结果集转json
Mar 31 #Python
Python super()方法原理详解
Mar 31 #Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 #Python
django rest framework serializer返回时间自动格式化方法
Mar 31 #Python
You might like
《PHP边学边教》(04.编写简易的通讯录――视频教程1)
2006/12/13 PHP
snoopy 强大的PHP采集类使用实例代码
2010/12/09 PHP
PHP字符串的连接的简单实例
2013/12/30 PHP
解密ThinkPHP3.1.2版本之独立分组功能应用
2014/06/19 PHP
PHP中使用register_shutdown_function函数截获fatal error示例
2015/04/21 PHP
PHP+MySQL统计该库中每个表的记录数并按递减顺序排列的方法
2016/02/15 PHP
PHP访问数据库集群的方法小结
2016/03/14 PHP
PHP+JQUERY操作JSON实例
2017/03/23 PHP
将HTML自动转为JS代码
2006/06/26 Javascript
javascript写的简单的计算器,内容很多,方法实用,推荐
2011/12/29 Javascript
登陆成功后自动计算秒数执行跳转
2014/01/23 Javascript
通过Jquery的Ajax方法读取将table转换为Json
2014/05/31 Javascript
获取中文字符串的实际长度代码
2014/06/05 Javascript
javascript常用方法汇总
2014/12/02 Javascript
深入理解JavaScript系列(21):S.O.L.I.D五大原则之接口隔离原则ISP详解
2015/03/05 Javascript
javascript实现图片跟随鼠标移动效果的方法
2015/05/13 Javascript
原生js实现图片轮播特效
2015/12/18 Javascript
JavaScript兼容浏览器FF/IE技巧
2016/08/14 Javascript
AngularJS中如何使用echart插件示例详解
2016/10/26 Javascript
js实现拖拽上传图片功能
2017/08/01 Javascript
Javascript中的getter和setter初识
2017/08/17 Javascript
详解axios 全攻略之基本介绍与使用(GET 与 POST)
2017/09/15 Javascript
js实现多个倒计时并行 js拼团倒计时
2019/02/25 Javascript
微信小程序实现点击图片放大预览
2019/10/21 Javascript
[47:08]OG vs INfamous 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
Python使用Srapy框架爬虫模拟登陆并抓取知乎内容
2016/07/02 Python
Python实现针对含中文字符串的截取功能示例
2017/09/22 Python
python向已存在的excel中新增表,不覆盖原数据的实例
2018/05/02 Python
Python实现的多叉树寻找最短路径算法示例
2018/07/30 Python
解决Pycharm界面的子窗口不见了的问题
2019/01/17 Python
Pytorch释放显存占用方式
2020/01/13 Python
Python CategoricalDtype自定义排序实现原理解析
2020/09/11 Python
财务出纳岗位职责
2014/02/03 职场文书
幼儿园新年寄语
2014/04/03 职场文书
会计求职自荐信范文
2015/03/04 职场文书
爱国教育主题班会
2015/08/14 职场文书