Python3如何对urllib和urllib2进行重构


Posted in Python onNovember 25, 2019

这篇文章主要介绍了Python3如何对urllib和urllib2进行重构,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response, urllib.parse, urllib.error等几个子模块,这样的架构从逻辑和结构上说更加合理。urllib库无需安装,python3自带。python 3.x中将urllib库和urilib2库合并成了urllib库。 其中

  • urllib2.urlopen() 变成了 urllib.request.urlopen()
  • urllib2.Request() 变成了 urllib.request.Request()
  • python2中的 cookielib 改为 http.cookiejar.
  • import http.cookiejar 代替 import cookielib
  • urljoin 现在对应的函数是 urllib.parse.urljoin

代码如下

import urllib.request
import http.cookiejar

url ="http://www.baidu.com"

print ('第一种方法')
response1=urllib.request.urlopen(url)
print (response1.getcode())
print (len(response1.read()))

print ('第二种方法')
request=urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")#将爬虫伪装成浏览器
response2=urllib.request.urlopen(request)
print (response2.getcode())#打印状态码
print (len(response2.read()))#打印内容长度

print ('第三种方法')
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3=urllib.request.urlopen(url)
print (response1.getcode())
print (cj)  #输出cookie
print (response1.read())

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的多线程端口扫描功能示例
Jan 21 Python
python获取当前运行函数名称的方法实例代码
Apr 06 Python
Python有序查找算法之二分法实例分析
Dec 11 Python
pycharm重置设置,恢复默认设置的方法
Oct 22 Python
python使用xlsxwriter实现有向无环图到Excel的转换
Dec 12 Python
python中yield的用法详解——最简单,最清晰的解释
Apr 04 Python
自定义django admin model表单提交的例子
Aug 23 Python
pytorch forward两个参数实例
Jan 17 Python
python加密解密库cryptography使用openSSL生成的密匙加密解密
Feb 11 Python
超全Python图像处理讲解(多模块实现)
Apr 13 Python
Python计算信息熵实例
Jun 18 Python
Django展示可视化图表的多种方式
Apr 08 Python
python pygame实现球球大作战
Nov 25 #Python
Python内置加密模块用法解析
Nov 25 #Python
python使用pygame实现笑脸乒乓球弹珠球游戏
Nov 25 #Python
Django项目基础配置和基本使用过程解析
Nov 25 #Python
nginx+uwsgi+django环境搭建的方法步骤
Nov 25 #Python
python找出列表中大于某个阈值的数据段示例
Nov 24 #Python
python对Excel按条件进行内容补充(推荐)
Nov 24 #Python
You might like
用php+mysql一个名片库程序
2006/10/09 PHP
PHP 5.3新特性命名空间规则解析及高级功能
2010/03/11 PHP
PHP学习笔记 IIS7下安装配置php环境
2012/10/29 PHP
php中的PHP_EOL换行符详细解析
2013/10/26 PHP
用PHP解决的一个栈的面试题
2014/07/02 PHP
PHP中ltrim与rtrim去除左右空格及特殊字符实例
2016/01/07 PHP
PHP中strncmp()函数比较两个字符串前2个字符是否相等的方法
2016/01/07 PHP
YII CLinkPager分页类扩展增加显示共多少页
2016/01/29 PHP
ie 处理 gif动画 的onload 事件的一个 bug
2007/04/12 Javascript
JavaScript 学习笔记(九)call和apply方法
2010/01/11 Javascript
关于jQuery参考实例 1.0 jQuery的哲学
2013/04/07 Javascript
JS定时器实例
2013/04/17 Javascript
javascript获取网页中指定节点的父节点、子节点的方法小结
2013/04/24 Javascript
JavaScript实现维吉尼亚(Vigenere)密码算法实例
2013/11/22 Javascript
JQuery中使用.each()遍历元素学习笔记
2014/11/08 Javascript
Angular.js中$apply()和$digest()的深入理解
2016/10/13 Javascript
javascript数组去重常用方法实例分析
2017/04/11 Javascript
seaJs使用心得之exports与module.exports的区别实例分析
2017/10/13 Javascript
详解react关于事件绑定this的四种方式
2018/03/09 Javascript
基于vue中css预加载使用sass的配置方式详解
2018/03/13 Javascript
快速解决element的autofocus失效问题
2020/09/08 Javascript
[02:36]DOTA2上海特锦赛 回忆电竞生涯的重要瞬间
2016/03/25 DOTA
Python实现的tab文件操作类分享
2014/11/20 Python
Python实现删除文件但保留指定文件
2015/06/21 Python
python+opencv识别图片中的圆形
2020/03/25 Python
python读取Excel实例详解
2018/08/17 Python
Python全局锁中如何合理运用多线程(多进程)
2019/11/06 Python
jupyter notebook指定启动目录的方法
2021/03/02 Python
施华洛世奇意大利官网:SWAROVSKI意大利
2018/07/23 全球购物
G-Form护具官方网站:美国运动保护装备
2019/09/04 全球购物
运行时异常与一般异常有何异同?
2014/01/05 面试题
公司部门司机岗位职责
2014/01/03 职场文书
电焊工工作岗位职责
2014/02/06 职场文书
保护环境建议书作文500字
2015/09/14 职场文书
利用Nginx代理如何解决前端跨域问题详析
2021/04/02 Servers
JavaScript实现九宫格拖拽效果
2022/06/28 Javascript