python访问抓取网页常用命令总结


Posted in Python onApril 11, 2017

python访问抓取网页常用命令

简单的抓取网页:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件对象
page=response.read()

直接将URL保存为本地文件:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件对象
page=response.read()

POST方式:

import urllib.parse 
import urllib.request 
 
url="http://liuxin-blog.appspot.com/messageboard/add" 
 
values={"content":"命令行发出网页请求测试"} 
data=urllib.parse.urlencode(values) 

#创建请求对象 
req=urllib.request.Request(url,data) 
#获得服务器返回的数据 
response=urllib.request.urlopen(req) 
#处理数据 
page=response.read()

GET方式:

import urllib.parse 
import urllib.request 
 
url="http://www.google.cn/webhp" 
 
values={"rls":"ig"} 
data=urllib.parse.urlencode(values) 
 
theurl=url+"?"+data 
#创建请求对象 
req=urllib.request.Request(theurl) 
#获得服务器返回的数据 
response=urllib.request.urlopen(req) 
#处理数据 
page=response.read()

有2个常用的方法,geturl(),info()

geturl()的设置是为了辨别是否有服务器端的网址重定向,而info()则包含了一系列的信息。

中文问题的处理,会用到 encode()编码 dencode()解码:

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
Python 正则表达式入门(中级篇)
Dec 07 Python
关于Python元祖,列表,字典,集合的比较
Jan 06 Python
Python实现的文本简单可逆加密算法示例
May 18 Python
简单谈谈Python中的json与pickle
Jul 19 Python
pandas 小数位数 精度的处理方法
Jun 09 Python
python得到windows自启动列表的方法
Oct 14 Python
Django 配置多站点多域名的实现步骤
May 17 Python
python实现列表的排序方法分享
Jul 01 Python
python中必要的名词解释
Nov 20 Python
Python编译为二进制so可执行文件实例
Dec 23 Python
深入了解如何基于Python读写Kafka
Dec 31 Python
python中PyQuery库用法分享
Jan 15 Python
Python 登录网站详解及实例
Apr 11 #Python
python实现FTP服务器服务的方法
Apr 11 #Python
python读写json文件的简单实现
Apr 11 #Python
Python实现Mysql数据库连接池实例详解
Apr 11 #Python
详解Python中类的定义与使用
Apr 11 #Python
python获取指定时间差的时间实例详解
Apr 11 #Python
一个基于flask的web应用诞生 组织结构调整(7)
Apr 11 #Python
You might like
关于尾递归的使用详解
2013/05/02 PHP
关于查看MSSQL 数据库 用户每个表 占用的空间大小
2013/06/21 PHP
PHP 使用pcntl和libevent 实现Timer功能
2013/10/27 PHP
php无限极分类递归排序实现方法
2014/11/11 PHP
PHP实现的敏感词过滤方法示例
2019/03/06 PHP
ajax 文件上传应用简单实现
2009/03/03 Javascript
VBS通过WMI监视注册表变动的代码
2011/10/27 Javascript
可选择和输入的下拉列表框示例
2013/11/05 Javascript
javascript实现html页面之间参数传递的四种方法实例分析
2015/12/15 Javascript
JS 动态判断PC和手机浏览器实现代码
2016/09/21 Javascript
jquery实现点击页面回到顶部
2016/11/23 Javascript
用vue的双向绑定简单实现一个todo-list的示例代码
2017/08/03 Javascript
Vue插件打包与发布的方法示例
2018/08/20 Javascript
深入理解Vue keep-alive及实践总结
2019/08/21 Javascript
纯异步nodejs文件夹(目录)复制功能
2019/09/03 NodeJs
JavaScript获取页面元素的常用方法详解
2019/09/28 Javascript
小程序如何定位所在城市及发起周边搜索
2020/02/11 Javascript
Python如何实现文本转语音
2016/08/08 Python
pandas series序列转化为星期几的实例
2018/04/11 Python
使用python脚本实现查询火车票工具
2018/07/19 Python
pybind11和numpy进行交互的方法
2019/07/04 Python
python 根据网易云歌曲的ID 直接下载歌曲的实例
2019/08/24 Python
Pytest参数化parametrize使用代码实例
2020/02/22 Python
详解Python中的Lock和Rlock
2021/01/26 Python
解决HTML5手机端页面缩放的问题
2017/10/27 HTML / CSS
Fossil美国官网:Fossil手表、手袋、珠宝及配件
2017/02/01 全球购物
桥梁与隧道工程专业本科生求职信
2013/10/08 职场文书
网管求职信
2014/03/03 职场文书
体育口号大全
2014/06/18 职场文书
党的群众路线教育实践活动对照检查材料范文
2014/09/24 职场文书
设立有限责任公司出资协议书
2014/11/01 职场文书
2014幼儿园教育教学工作总结
2014/12/17 职场文书
2015年安康杯竞赛活动总结
2015/03/26 职场文书
小学信息技术教学反思
2016/02/16 职场文书
八年级作文之友情
2019/11/25 职场文书
Redis安装启动及常见数据类型
2021/04/14 Redis