python访问抓取网页常用命令总结


Posted in Python onApril 11, 2017

python访问抓取网页常用命令

简单的抓取网页:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件对象
page=response.read()

直接将URL保存为本地文件:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件对象
page=response.read()

POST方式:

import urllib.parse 
import urllib.request 
 
url="http://liuxin-blog.appspot.com/messageboard/add" 
 
values={"content":"命令行发出网页请求测试"} 
data=urllib.parse.urlencode(values) 

#创建请求对象 
req=urllib.request.Request(url,data) 
#获得服务器返回的数据 
response=urllib.request.urlopen(req) 
#处理数据 
page=response.read()

GET方式:

import urllib.parse 
import urllib.request 
 
url="http://www.google.cn/webhp" 
 
values={"rls":"ig"} 
data=urllib.parse.urlencode(values) 
 
theurl=url+"?"+data 
#创建请求对象 
req=urllib.request.Request(theurl) 
#获得服务器返回的数据 
response=urllib.request.urlopen(req) 
#处理数据 
page=response.read()

有2个常用的方法,geturl(),info()

geturl()的设置是为了辨别是否有服务器端的网址重定向,而info()则包含了一系列的信息。

中文问题的处理,会用到 encode()编码 dencode()解码:

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
python中split方法用法分析
Apr 17 Python
python实现将英文单词表示的数字转换成阿拉伯数字的方法
Jul 02 Python
Windows下安装python2和python3多版本教程
Mar 30 Python
用python找出那些被“标记”的照片
Apr 20 Python
简单了解python单例模式的几种写法
Jul 01 Python
安装PyInstaller失败问题解决
Dec 14 Python
Python基于yield遍历多个可迭代对象
Mar 12 Python
python 代码实现k-means聚类分析的思路(不使用现成聚类库)
Jun 01 Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 Python
python实现发送邮件
Mar 02 Python
Python实现DBSCAN聚类算法并样例测试
Jun 22 Python
Python捕获、播放和保存摄像头视频并提高视频清晰度和对比度
Apr 14 Python
Python 登录网站详解及实例
Apr 11 #Python
python实现FTP服务器服务的方法
Apr 11 #Python
python读写json文件的简单实现
Apr 11 #Python
Python实现Mysql数据库连接池实例详解
Apr 11 #Python
详解Python中类的定义与使用
Apr 11 #Python
python获取指定时间差的时间实例详解
Apr 11 #Python
一个基于flask的web应用诞生 组织结构调整(7)
Apr 11 #Python
You might like
Discuz! Passport 通行证整合
2008/03/27 PHP
关于PHP的相似度计算函数:levenshtein的使用介绍
2013/04/15 PHP
PHP 反射(Reflection)使用实例
2015/05/12 PHP
PHP里的单例类写法实例
2015/06/25 PHP
PHP5.6读写excel表格文件操作示例
2019/02/26 PHP
js选取多个或单个元素的实现代码(用class)
2012/08/22 Javascript
改进版通过Json对象实现深复制的方法
2012/10/24 Javascript
浅谈js函数中的实例对象、类对象、局部变量(局部函数)
2016/11/20 Javascript
Bootstrap整体框架之CSS12栅格系统
2016/12/15 Javascript
Angular的自定义指令以及实例
2016/12/26 Javascript
JavaScript实现图像模糊化的方法实例
2017/01/15 Javascript
微信小程序 image组件binderror使用例子与js中的onerror区别
2017/02/15 Javascript
WebSocket实现简单客服聊天系统
2017/05/12 Javascript
利用纯JS实现像素逐渐显示的方法示例
2017/08/14 Javascript
判断iOS、Android以及PC端的示例代码
2018/11/15 Javascript
mpvue小程序循环动画开启暂停的实现方法
2019/05/15 Javascript
vue给对象动态添加属性和值的实例
2019/09/09 Javascript
小程序websocket心跳库(websocket-heartbeat-miniprogram)
2020/02/23 Javascript
js实现选项卡效果
2020/03/07 Javascript
js验证账户名是否重复
2020/05/26 Javascript
[01:07:17]EG vs Optic Supermajor 败者组 BO3 第一场 6.6
2018/06/07 DOTA
Python实现抓取页面上链接的简单爬虫分享
2015/01/21 Python
Python冒泡排序注意要点实例详解
2016/09/09 Python
Python实现将数据写入netCDF4中的方法示例
2018/08/30 Python
Python实现多态、协议和鸭子类型的代码详解
2019/05/05 Python
使用pandas的box_plot去除异常值
2019/12/10 Python
python 两个一样的字符串用==结果为false问题的解决
2020/03/12 Python
CSS3 创建网页动画实现弹跳球动效果
2018/10/30 HTML / CSS
Under Armour瑞典官方网站:美国高端运动科技品牌
2018/11/21 全球购物
Kipling意大利官网:世界著名的时尚休闲包袋品牌
2019/06/05 全球购物
会计自我鉴定
2013/11/02 职场文书
公务员四风问题对照检查材料整改措施
2014/09/26 职场文书
戒赌保证书
2015/05/11 职场文书
行政撤诉申请书
2015/05/18 职场文书
人事任命书范本
2015/09/21 职场文书
Python实现排序方法常见的四种
2021/07/15 Python