基于python爬取有道翻译过程图解


Posted in Python onMarch 31, 2020

1.准备工作

先来到有道在线翻译的界面http://fanyi.youdao.com/

F12 审查元素 ->选Network一栏,然后F5刷新 (如果看不到Method一栏,右键Name栏,选中Method)

基于python爬取有道翻译过程图解

输入文字自动翻译后发现Method一栏有GET还有POST;GET是指从服务器请求和获得数据,POST是向指定服务器提交被处理的数据、

随便打开一个POST,找到preview可以看到我们输入的“我爱你一生一世”数据,可以证明post的提交数据的

基于python爬取有道翻译过程图解

下面分析一下Headers各个字段的意义;User-agent字段很重要

基于python爬取有道翻译过程图解

基于python爬取有道翻译过程图解

下面来看一下request模块中urlopen方法,查看文档;

发现urlopen有一个data参数,如果参数没赋值(默认None)就是GET形式,如果data参数被赋值了,就以POST形式提交

基于python爬取有道翻译过程图解

在这里,data参数其实是一个字典 ;就是源代码中From Data的数据

下面一篇文章是对urlencode与unquote的详细解释:(urllib库里可惜没有urldecode函数)

为什么要进行编码和解码呢?------》对于一些中文或者字符,url是不识别的,需要进行编码转换!encode('utf-8')把unicode的形式变成utf-8decode('utf-8')把utf-8形式变成Unicode编码形式2.下面进行敲!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中Collection的使用小技巧
Aug 18 Python
python利用正则表达式搜索单词示例代码
Sep 24 Python
python删除服务器文件代码示例
Feb 09 Python
解决python3捕获cx_oracle抛出的异常错误问题
Oct 18 Python
如何更优雅地写python代码
Jul 02 Python
python 中pyqt5 树节点点击实现多窗口切换问题
Jul 04 Python
python 控制台单行刷新,多行刷新实例
Feb 19 Python
python实现电子词典
Mar 03 Python
Python多线程Threading、子线程与守护线程实例详解
Mar 24 Python
如何基于Python代码实现高精度免费OCR工具
Jun 18 Python
2020年10款优秀的Python第三方库,看看有你中意的吗?
Jan 12 Python
pytorch中的numel函数用法说明
May 13 Python
django实现将修改好的新模型写入数据库
Mar 31 #Python
Python urlencode和unquote函数使用实例解析
Mar 31 #Python
Python响应对象text属性乱码解决方案
Mar 31 #Python
django执行数据库查询之后实现返回的结果集转json
Mar 31 #Python
Python super()方法原理详解
Mar 31 #Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 #Python
django rest framework serializer返回时间自动格式化方法
Mar 31 #Python
You might like
yii框架配置默认controller和action示例
2014/04/30 PHP
php中try catch捕获异常实例详解
2014/11/21 PHP
JavaScript Memoization 让函数也有记忆功能
2011/10/27 Javascript
使用indexOf等在JavaScript的数组中进行元素查找和替换
2013/09/18 Javascript
JS简单实现登陆验证附效果图
2013/11/19 Javascript
JavaScript实现倒计时代码段Item1(非常实用)
2015/11/03 Javascript
学习JavaScript设计模式之代理模式
2016/01/12 Javascript
原生Javascript和jQuery做轮播图简单例子
2016/10/11 Javascript
基于jQuery实现弹幕APP
2017/02/10 Javascript
详解JavaScript 中getElementsByName在IE中的注意事项
2017/02/21 Javascript
基于JavaScript实现图片剪切效果
2017/03/07 Javascript
weex里Vuex state使用storage持久化详解
2017/09/09 Javascript
Node.js 使用AngularJS的方法示例
2018/05/11 Javascript
JavaScript反射与依赖注入实例详解
2018/05/29 Javascript
js实现带箭头的进度流程
2020/03/26 Javascript
[58:46]OG vs NAVI 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
Python记录详细调用堆栈日志的方法
2015/05/05 Python
Python基础教程之正则表达式基本语法以及re模块
2016/03/25 Python
Python安装pycurl失败的解决方法
2018/10/15 Python
Python3.6使用tesseract-ocr的正确方法
2018/10/17 Python
在python2.7中用numpy.reshape 对图像进行切割的方法
2018/12/05 Python
python 限制函数执行时间,自己实现timeout的实例
2019/01/12 Python
python 对字典按照value进行排序的方法
2019/05/09 Python
numpy np.newaxis 的实用分享
2019/11/30 Python
解决Python使用列表副本的问题
2019/12/19 Python
python matplotlib包图像配色方案分享
2020/03/14 Python
使用python matplotlib 画图导入到word中如何保证分辨率
2020/04/16 Python
Python实现一个简单的毕业生信息管理系统的示例代码
2020/06/08 Python
Lookfantastic台湾:英国彩妆美发保养购物网
2018/03/26 全球购物
加拿大鞋网:Globo Shoes
2019/12/26 全球购物
单位委托书范本
2014/04/04 职场文书
购房公证委托书(2014版)
2014/09/12 职场文书
2014年仓库管理员工作总结
2014/11/18 职场文书
毕业论文致谢格式模板
2015/05/14 职场文书
导游词之张家界
2019/10/31 职场文书
Golang 如何实现函数的任意类型传参
2021/04/29 Golang