Python3如何对urllib和urllib2进行重构


Posted in Python onNovember 25, 2019

这篇文章主要介绍了Python3如何对urllib和urllib2进行重构,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response, urllib.parse, urllib.error等几个子模块,这样的架构从逻辑和结构上说更加合理。urllib库无需安装,python3自带。python 3.x中将urllib库和urilib2库合并成了urllib库。 其中

  • urllib2.urlopen() 变成了 urllib.request.urlopen()
  • urllib2.Request() 变成了 urllib.request.Request()
  • python2中的 cookielib 改为 http.cookiejar.
  • import http.cookiejar 代替 import cookielib
  • urljoin 现在对应的函数是 urllib.parse.urljoin

代码如下

import urllib.request
import http.cookiejar

url ="http://www.baidu.com"

print ('第一种方法')
response1=urllib.request.urlopen(url)
print (response1.getcode())
print (len(response1.read()))

print ('第二种方法')
request=urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")#将爬虫伪装成浏览器
response2=urllib.request.urlopen(request)
print (response2.getcode())#打印状态码
print (len(response2.read()))#打印内容长度

print ('第三种方法')
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3=urllib.request.urlopen(url)
print (response1.getcode())
print (cj)  #输出cookie
print (response1.read())

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python的正则表达式re模块的常用方法
Mar 09 Python
详谈python http长连接客户端
Jun 12 Python
Python模拟用户登录验证
Sep 11 Python
Python 将pdf转成图片的方法
Apr 23 Python
便捷提取python导入包的属性方法
Oct 15 Python
通过python的matplotlib包将Tensorflow数据进行可视化的方法
Jan 09 Python
python3通过selenium爬虫获取到dj商品的实例代码
Apr 25 Python
如何在Python 游戏中模拟引力
Mar 27 Python
python实现一个猜拳游戏
Apr 05 Python
关于Kotlin中SAM转换的那些事
Sep 15 Python
Django如何实现防止XSS攻击
Oct 13 Python
pandas取dataframe特定行列的实现方法
May 24 Python
python pygame实现球球大作战
Nov 25 #Python
Python内置加密模块用法解析
Nov 25 #Python
python使用pygame实现笑脸乒乓球弹珠球游戏
Nov 25 #Python
Django项目基础配置和基本使用过程解析
Nov 25 #Python
nginx+uwsgi+django环境搭建的方法步骤
Nov 25 #Python
python找出列表中大于某个阈值的数据段示例
Nov 24 #Python
python对Excel按条件进行内容补充(推荐)
Nov 24 #Python
You might like
Phpbean路由转发的php代码
2008/01/10 PHP
ajax在joomla中的原生态应用代码
2012/07/19 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(十六)
2014/06/30 PHP
PHP中使用strpos函数实现屏蔽敏感关键字功能
2014/08/21 PHP
PHP curl CURLOPT_RETURNTRANSFER参数的作用使用实例
2015/02/07 PHP
php使用GD创建保持宽高比缩略图的方法
2015/04/17 PHP
PHP使用递归算法无限遍历数组示例
2017/01/13 PHP
PHP实现网页内容html标签补全和过滤的方法小结【2种方法】
2017/04/27 PHP
Laravel学习教程之model validation的使用示例
2017/10/23 PHP
页面调用单个swf文件,嵌套出多个方法。
2011/11/21 Javascript
js 动态修改css文件的方法
2014/08/05 Javascript
使用正则表达式的格式化与高亮显示json字符串
2014/12/03 Javascript
JavaScript实现多栏目切换效果
2016/12/12 Javascript
Vue中使用vee-validate表单验证的方法
2018/05/09 Javascript
AngularJS发送异步Get/Post请求方法
2018/08/13 Javascript
JavaScript时间日期操作实例小结【5个示例】
2018/12/22 Javascript
前端路由&webpack基础配置详解
2019/06/10 Javascript
Vue export import 导入导出的多种方式与区别介绍
2020/02/12 Javascript
vue-cli4使用全局less文件中的变量配置操作
2020/10/21 Javascript
WebStorm无法正确识别Vue3组合式API的解决方案
2021/02/18 Vue.js
[01:29:17]RNG vs Liquid 2019国际邀请赛淘汰赛 败者组 BO3 第二场 8.23
2019/09/05 DOTA
Python 实现「食行生鲜」签到领积分功能
2018/09/26 Python
Flask框架模板继承实现方法分析
2019/07/31 Python
Django中和时区相关的安全问题详解
2020/10/12 Python
有750多个顶级品牌的瑞士时尚在线:ABOUT YOU
2017/01/04 全球购物
英国顶级家庭折扣店:The Works
2017/09/06 全球购物
澳大利亚冒险体验:Adrenaline(跳伞、V8赛车、热气球等)
2017/09/18 全球购物
创意爱尔兰礼物:Creative Irish Gifts
2020/01/29 全球购物
西班牙鞋子和箱包在线销售网站:zapatos.es
2020/02/17 全球购物
大学生预备党员自我评价分享
2013/11/16 职场文书
志愿者活动总结报告
2014/06/27 职场文书
合伙开公司协议书范本
2014/10/28 职场文书
2015年社区文体活动总结
2015/03/25 职场文书
2019年新郎保证书3篇
2019/10/17 职场文书
Python pandas求方差和标准差的方法实例
2021/08/04 Python
MySQL索引失效十种场景与优化方案
2023/05/08 MySQL