Python urlopen 使用小示例


Posted in Python onSeptember 06, 2008

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 设置环境变量

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
Python守护进程(daemon)代码实例
Mar 06 Python
一波神奇的Python语句、函数与方法的使用技巧总结
Dec 08 Python
详解字典树Trie结构及其Python代码实现
Jun 03 Python
Python实现多并发访问网站功能示例
Jun 19 Python
在python win系统下 打开TXT文件的实例
Apr 29 Python
Django实战之用户认证(初始配置)
Jul 16 Python
python去掉 unicode 字符串前面的u方法
Oct 21 Python
python对Excel的读取的示例代码
Feb 14 Python
Python依赖包迁移到断网环境操作
Jul 13 Python
Pycharm连接远程服务器并远程调试的全过程
Jun 24 Python
分享7个 Python 实战项目练习
Mar 03 Python
Python中文分词库jieba(结巴分词)详细使用介绍
Apr 07 Python
Python 网络编程起步(Socket发送消息)
Sep 06 #Python
Python  __getattr__与__setattr__使用方法
Sep 06 #Python
Python 深入理解yield
Sep 06 #Python
Python 初始化多维数组代码
Sep 06 #Python
Python enumerate遍历数组示例应用
Sep 06 #Python
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
Sep 06 #Python
Python httplib,smtplib使用方法
Sep 06 #Python
You might like
用PHP和ACCESS写聊天室(七)
2006/10/09 PHP
cmd下运行php脚本
2008/11/25 PHP
laravel安装和配置教程
2014/10/29 PHP
php解析xml 的四种简单方法(附实例)
2016/07/11 PHP
PHP实现一个按钮点击上传多个图片操作示例
2020/01/23 PHP
CL vs ForZe BO5 第四场 2.13
2021/03/10 DOTA
超级强大的表单验证
2006/06/26 Javascript
JavaScript中的闭包原理分析
2010/03/08 Javascript
XMLHTTP 乱码的解决方法(UTF8,GB2312 编码 解码)
2011/01/12 Javascript
Js,alert出现乱码问题的解决方法
2013/06/19 Javascript
select多选 multiple的使用示例
2014/06/16 Javascript
js返回前一页刷新本页重载页面
2014/07/29 Javascript
深入剖析JavaScript中的函数currying柯里化
2016/04/29 Javascript
jQuery实现的无限级下拉菜单功能示例
2016/09/12 Javascript
无循环 JavaScript(map、reduce、filter和find)
2017/04/08 Javascript
node的process以及child_process模块学习笔记
2018/03/06 Javascript
Nodejs使用Mongodb存储与提供后端CRD服务详解
2018/09/04 NodeJs
JS原生瀑布流效果实现
2019/04/26 Javascript
layui复选框限制选择个数的方法
2019/09/18 Javascript
JavaScript实现网页留言板功能
2020/11/23 Javascript
在Python的Flask框架中实现全文搜索功能
2015/04/20 Python
Python中的map()函数和reduce()函数的用法
2015/04/27 Python
python多线程socket编程之多客户端接入
2017/09/12 Python
Python 、Pycharm、Anaconda三者的区别与联系、安装过程及注意事项
2019/10/11 Python
如何查看Django ORM执行的SQL语句的实现
2020/04/20 Python
人力资源部培训专员岗位职责
2014/01/02 职场文书
探矿工程师自荐信
2014/01/24 职场文书
关于学习的演讲稿
2014/05/10 职场文书
诉讼财产保全担保书
2014/05/20 职场文书
就业协议书怎么填
2014/09/15 职场文书
亲属关系公证书样本
2015/01/23 职场文书
英语读书笔记
2015/07/02 职场文书
幼儿园教师心得体会范文
2016/01/21 职场文书
《藏戏》教学反思
2016/02/23 职场文书
阿里云服务器搭建Php+Apache运行环境的详细过程
2021/05/15 PHP
SpringBoot2 参数管理实践之入参出参与校验的方式
2021/06/16 Java/Android