python采用requests库模拟登录和抓取数据的简单示例


Posted in Python onJuly 05, 2014

如果你还在为python的各种urllib和urlibs,cookielib 头疼,或者还还在为python模拟登录和抓取数据而抓狂,那么来看看我们推荐的requests,python采集数据模拟登录必备利器!

这也是python推荐的HTTP客户端库:

本文就以一个模拟登录的例子来加以说明,至于采集大家就请自行发挥吧。

代码很简单,主要是展现python的requests库的简单至极,代码如下:

s = requests.session()
data = {'user':'用户名','passdw':'密码'}
#post 换成登录的地址,
res=s.post('http://www.xxx.net/index.php?action=login',data);
#换成抓取的地址
s.get('http://www.xxx.net/archives/155/');

看!仅仅4行代码,即可模拟登录。

Python 相关文章推荐
Python2.x版本中基本的中文编码问题解决
Oct 12 Python
python简单实现获取当前时间
Aug 27 Python
Python随机数random模块使用指南
Sep 09 Python
详解python分布式进程
Oct 08 Python
PyQt5 对图片进行缩放的实例
Jun 18 Python
python3射线法判断点是否在多边形内
Jun 28 Python
对python中不同模块(函数、类、变量)的调用详解
Jul 16 Python
python列表生成器迭代器实例解析
Dec 19 Python
使用tensorboard可视化loss和acc的实例
Jan 21 Python
python zip,lambda,map函数代码实例
Apr 04 Python
Pandas的数据过滤实现
Jan 15 Python
详解解Django 多对多表关系的三种创建方式
Aug 23 Python
浅析python 中__name__ = '__main__' 的作用
Jul 05 #Python
python在windows下实现备份程序实例
Jul 04 #Python
python调用短信猫控件实现发短信功能实例
Jul 04 #Python
Python实现类继承实例
Jul 04 #Python
Django集成百度富文本编辑器uEditor攻略
Jul 04 #Python
一个小示例告诉你Python语言的优雅之处
Jul 04 #Python
教你如何将 Sublime 3 打造成 Python/Django IDE开发利器
Jul 04 #Python
You might like
第四节--构造函数和析构函数
2006/11/16 PHP
PHP 压缩文件夹的类代码
2009/11/05 PHP
php 数组的指针操作实现代码
2011/02/08 PHP
PHP中使用foreach和引用导致程序BUG的问题介绍
2012/09/05 PHP
PHP 魔术变量和魔术函数详解
2015/02/25 PHP
Json_decode 解析json字符串为NULL的解决方法(必看)
2017/02/17 PHP
Thinkphp框架使用list_to_tree 实现无限级分类列出所有节点示例
2020/04/04 PHP
基于Web标准的UI组件 — 树状菜单(2)
2006/09/18 Javascript
jquery实现背景墙聚光灯效果示例分享
2014/03/02 Javascript
jquery实现移动端点击图片查看大图特效
2020/09/11 Javascript
AngularJS表单提交实例详解
2017/02/18 Javascript
nodejs获取微信小程序带参数二维码实现代码
2017/04/12 NodeJs
Bootstrap fileinput文件上传组件使用详解
2017/06/06 Javascript
Windows下使用Nodejs运行js的方法
2017/09/02 NodeJs
vue基于mint-ui实现城市选择三级联动
2020/06/30 Javascript
LayUi中接口传数据成功,表格不显示数据的解决方法
2018/08/19 Javascript
详解Vue.js使用Swiper.js在iOS
2018/09/10 Javascript
node.js中 redis 的安装和基本操作示例
2020/02/10 Javascript
[03:17]史诗级大片应援2018DOTA2国际邀请赛 致敬每一位坚守遗迹的勇士
2018/07/20 DOTA
Python中处理字符串的相关的len()方法的使用简介
2015/05/19 Python
python中hasattr()、getattr()、setattr()函数的使用
2019/08/16 Python
Keras搭建自编码器操作
2020/07/03 Python
Windows 平台做 Python 开发的最佳组合(推荐)
2020/07/27 Python
Python3如何实现Win10桌面自动切换
2020/08/11 Python
python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解
2020/12/22 Python
python利用文件时间批量重命名照片和视频
2021/02/09 Python
基于IE10/HTML5 开发
2013/04/22 HTML / CSS
优秀护士获奖感言
2014/02/20 职场文书
出生公证委托书
2014/04/03 职场文书
小学生竞选班长演讲稿
2014/04/24 职场文书
詹天佑教学反思
2014/04/30 职场文书
交通事故协议书范文
2014/10/23 职场文书
2014年底个人工作总结
2015/03/10 职场文书
薪资证明范本
2015/06/19 职场文书
2016年师德先进个人事迹材料
2016/02/29 职场文书
浅谈什么是SpringBoot异常处理自动配置的原理
2021/06/21 Java/Android