Python urlopen()函数 示例分享


Posted in Python onJune 12, 2014

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

import os 
os.putenv("http_proxy", "http://proxyaddr:<port>")

3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
python基础教程之对象和类的实际运用
Aug 29 Python
基于Python的关键字监控及告警
Jul 06 Python
解决python中遇到字典里key值为None的情况,取不出来的问题
Oct 17 Python
在Python中获取两数相除的商和余数方法
Nov 10 Python
pycharm 取消默认的右击运行unittest的方法
Nov 29 Python
python将时分秒转换成秒的实例
Dec 07 Python
基于打开pycharm有带图片md文件卡死问题的解决
Apr 24 Python
10行Python代码实现Web自动化管控的示例代码
Aug 14 Python
详解Python 中的容器 collections
Aug 17 Python
Scrapy基于scrapy_redis实现分布式爬虫部署的示例
Sep 29 Python
python实现视频压缩功能
Dec 18 Python
Pytorch如何切换 cpu和gpu的使用详解
Mar 01 Python
python教程之用py2exe将PY文件转成EXE文件
Jun 12 #Python
Python struct模块解析
Jun 12 #Python
深度剖析使用python抓取网页正文的源码
Jun 11 #Python
python k-近邻算法实例分享
Jun 11 #Python
浅析python 内置字符串处理函数的使用方法
Jun 11 #Python
python使用正则表达式检测密码强度源码分享
Jun 11 #Python
Python查看多台服务器进程的脚本分享
Jun 11 #Python
You might like
要会喝咖啡也要会知道咖啡豆
2021/03/03 咖啡文化
模仿OSO的论坛(二)
2006/10/09 PHP
PHP 命名空间实例说明
2011/01/27 PHP
基于Discuz security.inc.php代码的深入分析
2013/06/03 PHP
php中pcntl_fork创建子进程的方法实例
2019/03/14 PHP
php快速导入大量数据的实例方法
2019/09/23 PHP
基于laravel缓冲cache的用法详解
2019/10/23 PHP
通过PHP的Wrapper无缝迁移原有项目到新服务的实现方法
2020/04/02 PHP
使用TextRange获取输入框中光标的位
2006/10/14 Javascript
window.location不跳转的问题解决方法
2014/04/17 Javascript
分享28款免费实用的 JQuery 图片和内容滑块插件
2014/12/15 Javascript
在AngularJS应用中实现一些动画效果的代码
2015/06/18 Javascript
移动端JQ插件hammer使用详解
2015/07/03 Javascript
jQuery网页选项卡插件rTabs用法实例分析
2015/08/26 Javascript
浅谈javascript:两种注释,声明变量,定义函数
2016/09/29 Javascript
js控制文本框禁止输入特殊字符详解
2017/04/07 Javascript
基于vue的换肤功能的示例代码
2017/10/10 Javascript
vue移动端屏幕适配详解
2019/04/30 Javascript
OpenLayers3实现图层控件功能
2020/09/25 Javascript
nodejs使用Sequelize框架操作数据库的实现
2020/10/21 NodeJs
简明 Python 基础学习教程
2007/02/08 Python
python求crc32值的方法
2014/10/05 Python
Python进行数据科学工作的简单入门教程
2015/04/01 Python
matplotlib 纵坐标轴显示数据值的实例
2018/05/25 Python
Python爬虫入门教程01之爬取豆瓣Top电影
2021/01/24 Python
python 基于DDT实现数据驱动测试
2021/02/18 Python
HTML5中的新元素介绍
2008/10/17 HTML / CSS
使用html5 canvas 画时钟代码实例分享
2015/11/11 HTML / CSS
什么是数据库锁?Oracle中都有哪些类型的锁?
2015/08/21 面试题
销售辞职报告范文
2014/01/12 职场文书
国际会计专业求职信
2014/08/04 职场文书
出售房屋协议书范本
2014/10/06 职场文书
元宵节寄语大全
2015/02/27 职场文书
2015年社区国庆节活动总结
2015/07/30 职场文书
虚拟机linux端mysql数据库无法远程访问的解决办法
2021/05/26 MySQL
PHP RabbitMQ消息列队
2022/05/11 PHP