Python urlopen()函数 示例分享


Posted in Python onJune 12, 2014

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

import os 
os.putenv("http_proxy", "http://proxyaddr:<port>")

3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
Python3 加密(hashlib和hmac)模块的实现
Nov 23 Python
Python3多线程爬虫实例讲解代码
Jan 05 Python
windows下安装python的C扩展编译环境(解决Unable to find vcvarsall.bat)
Feb 21 Python
Python饼状图的绘制实例
Jan 15 Python
Python二叉搜索树与双向链表转换算法示例
Mar 02 Python
Python中一般处理中文的几种方法
Mar 06 Python
使用Python制作表情包实现换脸功能
Jul 19 Python
python3 图片 4通道转成3通道 1通道转成3通道 图片压缩实例
Dec 03 Python
Flask中endpoint的理解(小结)
Dec 11 Python
pytorch:torch.mm()和torch.matmul()的使用
Dec 27 Python
Python使用requests模块爬取百度翻译
Aug 25 Python
python爬虫请求库httpx和parsel解析库的使用测评
May 10 Python
python教程之用py2exe将PY文件转成EXE文件
Jun 12 #Python
Python struct模块解析
Jun 12 #Python
深度剖析使用python抓取网页正文的源码
Jun 11 #Python
python k-近邻算法实例分享
Jun 11 #Python
浅析python 内置字符串处理函数的使用方法
Jun 11 #Python
python使用正则表达式检测密码强度源码分享
Jun 11 #Python
Python查看多台服务器进程的脚本分享
Jun 11 #Python
You might like
php编写简单的文章发布程序
2015/06/18 PHP
详解laravel passport OAuth2.0的4种模式
2019/11/04 PHP
一个js写的日历(代码部分网摘)
2009/09/20 Javascript
JavaScript 学习笔记 Black.Caffeine 09.11.28
2009/11/30 Javascript
原生js做的手风琴效果的导航菜单
2013/11/08 Javascript
node.js中的定时器nextTick()和setImmediate()区别分析
2014/11/26 Javascript
jquery实现点击查看更多内容控制段落文字展开折叠效果
2015/08/06 Javascript
JS日期加减,日期运算代码
2015/11/05 Javascript
详解javascript传统方法实现异步校验
2016/01/22 Javascript
学习javascript文件加载优化
2016/02/19 Javascript
利用JQuery实现datatables插件的增加和删除行功能
2017/01/06 Javascript
从零开始学习Node.js系列教程四:多页面实现数学运算的client端和server端示例
2017/04/13 Javascript
BootStrap模态框和select2合用时input无法获取焦点的解决方法
2017/09/01 Javascript
解决百度Echarts图表坐标轴越界的方法
2018/10/17 Javascript
利用weixin-java-miniapp生成小程序码并直接返回图片文件流的方法
2019/03/29 Javascript
Vue.extend实现挂载到实例上的方法
2019/05/01 Javascript
基于Bootstrap和JQuery实现动态打开和关闭tab页的实例代码
2019/06/10 jQuery
vue 解决移动端弹出键盘导致页面fixed布局错乱的问题
2019/11/06 Javascript
jquery实现简易验证插件封装
2020/09/13 jQuery
JavaScript对象访问器Getter及Setter原理解析
2020/12/08 Javascript
Python转码问题的解决方法
2008/10/07 Python
浅析Python中的序列化存储的方法
2015/04/28 Python
python实现FTP服务器服务的方法
2017/04/11 Python
在python下使用tensorflow判断是否存在文件夹的实例
2019/06/10 Python
django将网络中的图片,保存成model中的ImageField的实例
2019/08/07 Python
Python3 获取文件属性的方式(时间、大小等)
2020/03/12 Python
python实现时间序列自相关图(acf)、偏自相关图(pacf)教程
2020/06/03 Python
python简单利用字典破解zip文件口令
2020/09/07 Python
Python常用数字处理基本操作汇总
2020/09/10 Python
大学生写自荐信的技巧
2014/01/08 职场文书
民主评议党员自我评价材料
2014/09/18 职场文书
学习三严三实对照检查材料思想汇报
2014/09/22 职场文书
软件项目经理岗位职责
2015/04/01 职场文书
销售人员管理制度
2015/08/06 职场文书
《活见鬼》教学反思
2016/02/24 职场文书
2019个人工作总结
2019/06/21 职场文书