Python urlopen 使用小示例


Posted in Python onSeptember 06, 2008

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 设置环境变量

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
python通过pil模块获得图片exif信息的方法
Mar 16 Python
Python for Informatics 第11章 正则表达式(一)
Apr 21 Python
Python使用pymongo模块操作MongoDB的方法示例
Jul 20 Python
Django添加favicon.ico图标的示例代码
Aug 07 Python
详解python分布式进程
Oct 08 Python
Python随机生成身份证号码及校验功能
Dec 04 Python
Python docx库用法示例分析
Feb 16 Python
python实现桌面气泡提示功能
Jul 29 Python
django xadmin 管理器常用显示设置方式
Mar 11 Python
基于python实现数组格式参数加密计算
Apr 21 Python
Python 绘制可视化折线图
Jul 22 Python
Python接口自动化测试的实现
Aug 28 Python
Python 网络编程起步(Socket发送消息)
Sep 06 #Python
Python  __getattr__与__setattr__使用方法
Sep 06 #Python
Python 深入理解yield
Sep 06 #Python
Python 初始化多维数组代码
Sep 06 #Python
Python enumerate遍历数组示例应用
Sep 06 #Python
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
Sep 06 #Python
Python httplib,smtplib使用方法
Sep 06 #Python
You might like
简单的php 验证图片生成函数
2009/05/21 PHP
PHP 最大运行时间 max_execution_time修改方法
2010/03/08 PHP
PHP SPL使用方法和他的威力
2013/11/12 PHP
安装ImageMagick出现error while loading shared libraries的解决方法
2014/09/23 PHP
PHP简单实现DES加密解密的方法
2016/07/12 PHP
php使用socket调用http和smtp协议实例小结
2019/07/26 PHP
firefox firebug中文入门教程 脚本之家新年特别版
2010/01/02 Javascript
百度移动版的url编码解码示例
2014/04/29 Javascript
JS实现简单的顶部定时关闭层效果
2014/06/15 Javascript
JavaScript实现关键字高亮功能
2014/11/12 Javascript
利用jsonp跨域调用百度js实现搜索框智能提示
2016/08/24 Javascript
微信小程序 css使用技巧总结
2017/01/09 Javascript
H5实现中奖记录逐行滚动切换效果
2017/03/13 Javascript
Bootstrap实现的标签页内容切换显示效果示例
2017/05/25 Javascript
Node.js进阶之核心模块https入门
2018/05/23 Javascript
Vue.js中Line第三方登录api的实现代码
2020/06/29 Javascript
JS运算符优先级与表达式示例详解
2020/09/04 Javascript
[03:13]DOTA2-DPC中国联赛1月25日Recap集锦
2021/03/11 DOTA
通过python下载FTP上的文件夹的实现代码
2013/02/10 Python
在Linux系统上安装Python的Scrapy框架的教程
2015/06/11 Python
如何在Python中编写并发程序
2016/02/27 Python
使用python编写udp协议的ping程序方法
2018/04/22 Python
python 同时运行多个程序的实例
2019/01/07 Python
python 并发编程 阻塞IO模型原理解析
2019/08/20 Python
Django之编辑时根据条件跳转回原页面的方法
2019/08/21 Python
Python爬虫使用浏览器cookies:browsercookie过程解析
2019/10/22 Python
Python 限定函数参数的类型及默认值方式
2019/12/24 Python
css3 按钮样式简单可扩展创建
2013/03/18 HTML / CSS
捷克家居装饰及图书音像购物网站:Velký košík
2018/04/16 全球购物
最新的小工具和卓越的产品设计:Oh That Tech!
2019/08/07 全球购物
环境工程专业个人求职信
2013/12/05 职场文书
2015年党小组工作总结
2015/05/26 职场文书
商业计划书之服装
2019/09/09 职场文书
导游词之安徽九华山
2019/09/18 职场文书
导游词之蓬莱长岛
2019/12/17 职场文书
一文带你探究MySQL中的NULL
2021/11/11 MySQL