基于python爬取有道翻译过程图解


Posted in Python onMarch 31, 2020

1.准备工作

先来到有道在线翻译的界面http://fanyi.youdao.com/

F12 审查元素 ->选Network一栏,然后F5刷新 (如果看不到Method一栏,右键Name栏,选中Method)

基于python爬取有道翻译过程图解

输入文字自动翻译后发现Method一栏有GET还有POST;GET是指从服务器请求和获得数据,POST是向指定服务器提交被处理的数据、

随便打开一个POST,找到preview可以看到我们输入的“我爱你一生一世”数据,可以证明post的提交数据的

基于python爬取有道翻译过程图解

下面分析一下Headers各个字段的意义;User-agent字段很重要

基于python爬取有道翻译过程图解

基于python爬取有道翻译过程图解

下面来看一下request模块中urlopen方法,查看文档;

发现urlopen有一个data参数,如果参数没赋值(默认None)就是GET形式,如果data参数被赋值了,就以POST形式提交

基于python爬取有道翻译过程图解

在这里,data参数其实是一个字典 ;就是源代码中From Data的数据

下面一篇文章是对urlencode与unquote的详细解释:(urllib库里可惜没有urldecode函数)

为什么要进行编码和解码呢?------》对于一些中文或者字符,url是不识别的,需要进行编码转换!encode('utf-8')把unicode的形式变成utf-8decode('utf-8')把utf-8形式变成Unicode编码形式2.下面进行敲!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现八大排序算法(2)
Sep 14 Python
Python基于列表模拟堆栈和队列功能示例
Jan 05 Python
浅谈Python2获取中文文件名的编码问题
Jan 09 Python
flask中主动抛出异常及统一异常处理代码示例
Jan 18 Python
django 修改server端口号的方法
May 14 Python
python爬取足球直播吧五大联赛积分榜
Jun 13 Python
对python3 Serial 串口助手的接收读取数据方法详解
Jun 12 Python
Python基础学习之函数方法实例详解
Jun 18 Python
docker-py 用Python调用Docker接口的方法
Aug 30 Python
Python批量处理csv并保存过程解析
May 16 Python
实例讲解Python 迭代器与生成器
Jul 08 Python
python利用appium实现手机APP自动化的示例
Jan 26 Python
django实现将修改好的新模型写入数据库
Mar 31 #Python
Python urlencode和unquote函数使用实例解析
Mar 31 #Python
Python响应对象text属性乱码解决方案
Mar 31 #Python
django执行数据库查询之后实现返回的结果集转json
Mar 31 #Python
Python super()方法原理详解
Mar 31 #Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 #Python
django rest framework serializer返回时间自动格式化方法
Mar 31 #Python
You might like
用Zend Encode编写开发PHP程序
2006/10/09 PHP
全局记录程序片段的运行时间 正确找到程序逻辑耗时多的断点
2011/01/06 PHP
php的list()的一步操作给一组变量进行赋值的使用
2011/05/18 PHP
PHP 代码规范小结
2012/03/08 PHP
PHP中比较时间大小实例
2014/08/21 PHP
php实现删除指定目录下相关文件的方法
2014/10/20 PHP
YII Framework框架教程之日志用法详解
2016/03/14 PHP
PHP使用PDO访问oracle数据库的步骤详解
2017/09/29 PHP
javascript 出生日期和身份证判断大全
2008/11/13 Javascript
JSON 客户端和服务器端的格式转换
2009/08/27 Javascript
用javascript实现自动输出网页文本
2015/07/30 Javascript
JS与Ajax Get和Post在使用上的区别实例详解
2016/06/08 Javascript
js获取form表单所有数据的简单方法
2016/08/18 Javascript
js多个物体运动功能实例分析
2016/12/20 Javascript
Angular2-primeNG文件上传模块FileUpload使用详解
2017/01/14 Javascript
基于js 字符串indexof与search方法的区别(详解)
2017/12/04 Javascript
百度小程序之间的页面通信过程详解
2019/07/18 Javascript
bootstrap-table+treegrid实现树形表格
2019/07/26 Javascript
Vue登录拦截 登录后继续跳转指定页面的操作
2020/08/04 Javascript
Python中的time模块与datetime模块用法总结
2016/06/30 Python
Python3.5面向对象程序设计之类的继承和多态详解
2019/04/24 Python
python threading和multiprocessing模块基本用法实例分析
2019/07/25 Python
Python 3.8正式发布重要新功能一览
2019/10/17 Python
Python爬取豆瓣视频信息代码实例
2019/11/16 Python
Python flask框架实现浏览器点击自定义跳转页面
2020/06/04 Python
基于Keras中Conv1D和Conv2D的区别说明
2020/06/19 Python
django中ImageField的使用详解
2020/12/21 Python
在css3中background-clip属性与background-origin属性的用法介绍
2012/11/13 HTML / CSS
html5各种页面切换效果和模态对话框用法总结
2014/12/15 HTML / CSS
贷款承诺书范文
2014/05/19 职场文书
学校学习雷锋活动总结
2014/07/03 职场文书
学校安全生产月活动总结
2014/07/05 职场文书
城管执法人员个人对照检查材料思想汇报
2014/09/29 职场文书
法学专业大学生实习自我鉴定
2014/10/05 职场文书
小学入学感言
2015/08/01 职场文书
2019七夕节祝福语36句,快来收藏吧
2019/08/06 职场文书