基于python爬取有道翻译过程图解


Posted in Python onMarch 31, 2020

1.准备工作

先来到有道在线翻译的界面http://fanyi.youdao.com/

F12 审查元素 ->选Network一栏,然后F5刷新 (如果看不到Method一栏,右键Name栏,选中Method)

基于python爬取有道翻译过程图解

输入文字自动翻译后发现Method一栏有GET还有POST;GET是指从服务器请求和获得数据,POST是向指定服务器提交被处理的数据、

随便打开一个POST,找到preview可以看到我们输入的“我爱你一生一世”数据,可以证明post的提交数据的

基于python爬取有道翻译过程图解

下面分析一下Headers各个字段的意义;User-agent字段很重要

基于python爬取有道翻译过程图解

基于python爬取有道翻译过程图解

下面来看一下request模块中urlopen方法,查看文档;

发现urlopen有一个data参数,如果参数没赋值(默认None)就是GET形式,如果data参数被赋值了,就以POST形式提交

基于python爬取有道翻译过程图解

在这里,data参数其实是一个字典 ;就是源代码中From Data的数据

下面一篇文章是对urlencode与unquote的详细解释:(urllib库里可惜没有urldecode函数)

为什么要进行编码和解码呢?------》对于一些中文或者字符,url是不识别的,需要进行编码转换!encode('utf-8')把unicode的形式变成utf-8decode('utf-8')把utf-8形式变成Unicode编码形式2.下面进行敲!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python操作MySQL数据库的方法分享
May 29 Python
python服务器与android客户端socket通信实例
Nov 12 Python
WINDOWS 同时安装 python2 python3 后 pip 错误的解决方法
Mar 16 Python
Python的装饰器使用详解
Jun 26 Python
python实现的二叉树定义与遍历算法实例
Jun 30 Python
pyqt5实现俄罗斯方块游戏
Jan 11 Python
Python写一个基于MD5的文件监听程序
Mar 11 Python
Python机器学习算法库scikit-learn学习之决策树实现方法详解
Jul 04 Python
Python中使用threading.Event协调线程的运行详解
May 02 Python
Python3+SQLAlchemy+Sqlite3实现ORM教程
Feb 16 Python
matplotlib之多边形选区(PolygonSelector)的使用
Feb 24 Python
Pytorch中TensorBoard及torchsummary的使用详解
May 12 Python
django实现将修改好的新模型写入数据库
Mar 31 #Python
Python urlencode和unquote函数使用实例解析
Mar 31 #Python
Python响应对象text属性乱码解决方案
Mar 31 #Python
django执行数据库查询之后实现返回的结果集转json
Mar 31 #Python
Python super()方法原理详解
Mar 31 #Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 #Python
django rest framework serializer返回时间自动格式化方法
Mar 31 #Python
You might like
FleaPHP的安全设置方法
2008/09/15 PHP
php auth_http类库进行身份效验
2009/03/19 PHP
PHP 设置MySQL连接字符集的方法
2011/01/02 PHP
PHP两种去掉数组重复值的方法比较
2014/06/19 PHP
php源码分析之DZX1.5随机数函数random用法
2015/06/17 PHP
php根据日期或时间戳获取星座信息和生肖等信息
2015/10/20 PHP
php中引用符号(&)的使用详细介绍
2016/12/06 PHP
保证JavaScript和Asp、Php等后端程序间传值编码统一
2009/04/17 Javascript
JavaScript的document对象和window对象详解
2010/12/30 Javascript
jQuery UI 实现email输入提示实例
2013/08/15 Javascript
JavaScript插件化开发教程 (三)
2015/01/27 Javascript
javascript使用shift+click实现选择和反选checkbox的方法
2015/05/04 Javascript
原生javascript实现图片无缝滚动效果
2016/02/12 Javascript
JS解决iframe之间通信和自适应高度的问题
2016/08/24 Javascript
Jquery删除css属性的简单方法
2016/12/04 Javascript
vue.js单页面应用实例的简单实现
2017/04/10 Javascript
使用JS在浏览器中判断当前网络连接状态的几种方法
2017/05/05 Javascript
JavaScript实现时间表动态效果
2017/07/15 Javascript
React注册倒计时功能的实现
2018/09/06 Javascript
解决layer弹出层msg的文字不显示的问题
2019/09/11 Javascript
JavaScript原型式继承实现方法
2019/11/06 Javascript
在vue中实现echarts随窗体变化
2020/07/27 Javascript
[05:39]2014DOTA2国际邀请赛 DK晋级胜者组专访战队国士无双
2014/07/14 DOTA
解析Python中的生成器及其与迭代器的差异
2016/06/20 Python
使用Python脚本和ADB命令实现卸载App
2017/02/10 Python
python里使用正则表达式的组嵌套实例详解
2017/10/24 Python
Python2.7.10以上pip更新及其他包的安装教程
2018/06/12 Python
Django框架的使用教程路由请求响应的方法
2018/07/03 Python
Python操作redis和mongoDB的方法
2019/12/19 Python
Python判断字符串是否为空和null方法实例
2020/04/26 Python
python3发送request请求及查看返回结果实例
2020/04/30 Python
python判断一个变量是否已经设置的方法
2020/08/13 Python
英国手工制作的现代与经典的沙发和床:Love Your Home
2020/09/26 全球购物
卫校中专生个人自我评价
2013/09/19 职场文书
计算机系毕业生推荐信
2013/11/06 职场文书
2019年公司快递收发管理制度模板
2019/11/20 职场文书