Python urlopen 使用小示例


Posted in Python onSeptember 06, 2008

一、打开一个网页获取所有的内容

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看环境变量

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 设置环境变量

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
Python 相关文章推荐
python基于xmlrpc实现二进制文件传输的方法
Jun 02 Python
Python 安装setuptools和pip工具操作方法(必看)
May 22 Python
python编程线性回归代码示例
Dec 07 Python
Python3.x爬虫下载网页图片的实例讲解
May 22 Python
举例讲解Python常用模块
Mar 08 Python
django创建简单的页面响应实例教程
Sep 06 Python
Python调用scp向服务器上传文件示例
Dec 22 Python
pytorch 指定gpu训练与多gpu并行训练示例
Dec 31 Python
解决 jupyter notebook 回车换两行问题
Apr 15 Python
anaconda3安装及jupyter环境配置全教程
Aug 24 Python
jupyter notebook 写代码自动补全的实现
Nov 02 Python
python之openpyxl模块的安装和基本用法(excel管理)
Feb 03 Python
Python 网络编程起步(Socket发送消息)
Sep 06 #Python
Python  __getattr__与__setattr__使用方法
Sep 06 #Python
Python 深入理解yield
Sep 06 #Python
Python 初始化多维数组代码
Sep 06 #Python
Python enumerate遍历数组示例应用
Sep 06 #Python
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
Sep 06 #Python
Python httplib,smtplib使用方法
Sep 06 #Python
You might like
php array_merge下进行数组合并的代码
2008/07/22 PHP
CakePHP去除默认显示的标题及图标的方法
2008/10/22 PHP
php中生成随机密码的自定义函数代码
2013/10/21 PHP
PHP自动生成表单代码分享
2015/06/19 PHP
php中的常用魔术方法汇总
2016/02/14 PHP
PHP中array_keys和array_unique函数源码的分析
2016/02/26 PHP
PHP标准库 (SPL)――Countable用法示例
2020/06/05 PHP
JavaScript去除空格的几种方法
2006/10/03 Javascript
JavaScript 字符编码规则
2009/05/04 Javascript
深入理解Javascript闭包 新手版
2010/12/28 Javascript
JavaScript事件处理器中的event参数使用介绍
2013/05/24 Javascript
Lua表达式和控制结构学习笔记
2014/12/15 Javascript
node.js操作mysql(增删改查)
2015/07/24 Javascript
JavaScript简单计算人的年龄示例
2017/04/15 Javascript
3分钟掌握常用的JS操作JSON方法总结
2017/04/25 Javascript
JavaScript中undefined和null的区别
2017/05/03 Javascript
NodeJS设计模式总结【单例模式,适配器模式,装饰模式,观察者模式】
2017/09/06 NodeJs
为vue-router懒加载时下载js的过程中添加loading提示避免无响应问题
2018/04/03 Javascript
node基于async/await对mysql进行封装
2019/06/20 Javascript
JS实现小星星特效
2019/12/24 Javascript
Python开发的单词频率统计工具wordsworth使用方法
2014/06/25 Python
python使用socket连接远程服务器的方法
2015/04/29 Python
python实现xlsx文件分析详解
2018/01/02 Python
Python使用numpy产生正态分布随机数的向量或矩阵操作示例
2018/08/22 Python
Python中文件的写入读取以及附加文字方法
2019/01/23 Python
pandas数据处理进阶详解
2019/10/11 Python
Python pandas库中的isnull()详解
2019/12/26 Python
Python实现从N个数中找到最大的K个数
2020/04/02 Python
基于html5 canvas做批改作业的小插件
2020/05/20 HTML / CSS
三星新西兰官网:Samsung新西兰
2019/03/05 全球购物
戴森香港官方网站:Dyson香港
2021/02/11 全球购物
外企求职信范文分享
2013/12/31 职场文书
2014乡镇“三八”国际劳动妇女节活动总结
2014/03/01 职场文书
辞职信标准格式
2015/02/27 职场文书
小学生六年级作文之关于感恩
2019/08/16 职场文书
java固定大小队列的几种实现方式详解
2021/07/15 Java/Android