Python urlopen()函数 示例分享


Posted in Python onJune 12, 2014

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

import os 
os.putenv("http_proxy", "http://proxyaddr:<port>")

3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
Python函数嵌套实例
Sep 23 Python
Python内建数据结构详解
Feb 03 Python
浅析Python中yield关键词的作用与用法
Nov 29 Python
Python正则表达式匹配中文用法示例
Jan 17 Python
Python中str.join()简单用法示例
Mar 20 Python
Python3.遍历某文件夹提取特定文件名的实例
Apr 26 Python
代码实例讲解python3的编码问题
Jul 08 Python
Python利用requests模块下载图片实例代码
Aug 12 Python
python字符串替换re.sub()方法解析
Sep 18 Python
Python如何获取Win7,Win10系统缩放大小
Jan 10 Python
python 如何引入协程和原理分析
Nov 30 Python
Python爬虫基础之初次使用scrapy爬虫实例
Jun 26 Python
python教程之用py2exe将PY文件转成EXE文件
Jun 12 #Python
Python struct模块解析
Jun 12 #Python
深度剖析使用python抓取网页正文的源码
Jun 11 #Python
python k-近邻算法实例分享
Jun 11 #Python
浅析python 内置字符串处理函数的使用方法
Jun 11 #Python
python使用正则表达式检测密码强度源码分享
Jun 11 #Python
Python查看多台服务器进程的脚本分享
Jun 11 #Python
You might like
PHP在Web开发领域的优势
2006/10/09 PHP
php self,$this,const,static,-&amp;gt;的使用
2009/10/22 PHP
PHP中file_get_contents高?用法实例
2014/09/24 PHP
自制PHP框架之路由与控制器
2017/05/07 PHP
JavaScript学习笔记记录我的旅程
2012/05/23 Javascript
浅析node连接数据库(express+mysql)
2015/11/30 Javascript
jQGrid Table操作列中点击【操作】按钮弹出按钮层的实现代码
2016/12/05 Javascript
JS数字千分位格式化实现方法总结
2016/12/16 Javascript
Vue2.0 实现单选互斥的方法
2018/04/13 Javascript
vue form check 表单验证的实现代码
2018/12/09 Javascript
详解用Webpack与Babel配置ES6开发环境
2019/03/12 Javascript
uni-app之APP和小程序微信授权方法
2019/05/09 Javascript
react 组件传值的三种方法
2019/06/03 Javascript
VueJS 取得 URL 参数值的方法
2019/07/19 Javascript
策略模式实现 Vue 动态表单验证的方法
2019/09/16 Javascript
jquery实现异步文件上传ajaxfileupload.js
2020/10/23 jQuery
Vue包大小优化的实现(从1.72M到94K)
2021/02/18 Vue.js
[04:45]上海特级锦标赛主赛事第三日TOP10
2016/03/05 DOTA
Python3.6连接Oracle数据库的方法详解
2018/05/18 Python
python实现读取excel文件中所有sheet操作示例
2019/08/09 Python
双向RNN:bidirectional_dynamic_rnn()函数的使用详解
2020/01/20 Python
解决 jupyter notebook 回车换两行问题
2020/04/15 Python
jupyter notebook tensorflow打印device信息实例
2020/04/20 Python
python2.7使用scapy发送syn实例
2020/05/05 Python
django中related_name的用法说明
2020/05/20 Python
基于python实现可视化生成二维码工具
2020/07/08 Python
Python排序函数的使用方法详解
2020/12/11 Python
布鲁明戴尔百货店:Bloomingdale’s
2016/12/21 全球购物
PHP面试题-$message和$$message的区别
2015/12/08 面试题
医院护理人员的自我评价分享
2013/10/04 职场文书
演讲稿开场白
2014/01/13 职场文书
学生会干部自我鉴定2014
2014/09/18 职场文书
开学典礼致辞
2015/07/29 职场文书
小学英语教师研修感悟
2015/11/18 职场文书
Python 语言实现六大查找算法
2021/06/30 Python
Django框架模板用法详解
2022/06/10 Python