Python urlopen 使用小示例


Posted in Python onSeptember 06, 2008

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 设置环境变量

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
Python 模块EasyGui详细介绍
Feb 19 Python
在cmd命令行里进入和退出Python程序的方法
May 12 Python
Python实现的爬取网易动态评论操作示例
Jun 06 Python
python 不同方式读取文件速度不同的实例
Nov 09 Python
Python简单过滤字母和数字的方法小结
Jan 09 Python
Pycharm连接远程服务器并实现远程调试的实现
Aug 02 Python
Django实现文件上传和下载功能
Oct 06 Python
使用OpenCV circle函数图像上画圆的示例代码
Dec 27 Python
使用python-pptx包批量修改ppt格式的实现
Feb 14 Python
Python爬虫爬取百度搜索内容代码实例
Jun 05 Python
python中操作文件的模块的方法总结
Feb 04 Python
详解分布式系统中如何用python实现Paxos
May 18 Python
Python 网络编程起步(Socket发送消息)
Sep 06 #Python
Python  __getattr__与__setattr__使用方法
Sep 06 #Python
Python 深入理解yield
Sep 06 #Python
Python 初始化多维数组代码
Sep 06 #Python
Python enumerate遍历数组示例应用
Sep 06 #Python
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
Sep 06 #Python
Python httplib,smtplib使用方法
Sep 06 #Python
You might like
给海燕B411配件机起死回生配上件
2021/03/02 无线电
PHP二维数组的去重问题解析
2011/07/17 PHP
PHP生成sitemap.xml地图函数
2013/11/13 PHP
PHP操作Redis常用技巧总结
2018/04/24 PHP
PHP attributes()函数讲解
2019/02/03 PHP
json的前台操作和后台操作实现代码
2012/01/20 Javascript
javascript中自定义对象的属性方法分享
2013/07/12 Javascript
Js实现当前点击a标签变色突出显示其他a标签回复原色
2013/11/27 Javascript
如何在JavaScript中实现私有属性的写类方式(二)
2013/12/04 Javascript
javascript使用switch case实现动态改变超级链接文字及地址
2014/12/16 Javascript
javascript表格的渲染组件
2015/07/03 Javascript
js实现文件上传表单域美化特效
2015/11/02 Javascript
很棒的js选项卡切换效果
2016/07/15 Javascript
解决拦截器对ajax请求的拦截实例详解
2016/12/21 Javascript
JavaScript中利用for循环遍历数组
2017/01/15 Javascript
Javascript设计模式之装饰者模式详解篇
2017/01/17 Javascript
jquery实现input框获取焦点的简单实例
2017/01/26 Javascript
vue-cli中实现响应式布局的方法
2021/03/02 Vue.js
[01:20]DOTA2 2017国际邀请赛冠军之路无止竞
2017/06/19 DOTA
[01:02:00]DOTA2-DPC中国联赛 正赛 Elephant vs IG BO3 第三场 1月24日
2021/03/11 DOTA
Python中 Lambda表达式全面解析
2016/11/28 Python
Python中装饰器兼容加括号和不加括号的写法详解
2017/07/05 Python
Python学习pygal绘制线图代码分享
2017/12/09 Python
Python pyinotify日志监控系统处理日志的方法
2018/03/08 Python
Python函数和模块的使用总结
2019/05/20 Python
布隆过滤器的概述及Python实现方法
2019/12/08 Python
解决Pycharm的项目目录突然消失的问题
2020/01/20 Python
Python中的sys.stdout.write实现打印刷新功能
2020/02/21 Python
python3实现往mysql中插入datetime类型的数据
2020/03/02 Python
python文件排序的方法总结
2020/09/13 Python
CSS3 :not()选择器实现最后一行li去除某种css样式
2016/10/19 HTML / CSS
input元素的url类型和email类型简介
2012/07/11 HTML / CSS
日本运动品牌美津浓官方购物网站:MIZUNO SHOP
2016/08/21 全球购物
Juice Beauty官网:有机美容产品,护肤与化妆品
2020/06/13 全球购物
小学班干部竞选演讲稿
2014/04/24 职场文书
2016年妇联“6﹒26国际禁毒日”宣传活动总结
2016/04/05 职场文书