python采用requests库模拟登录和抓取数据的简单示例


Posted in Python onJuly 05, 2014

如果你还在为python的各种urllib和urlibs,cookielib 头疼,或者还还在为python模拟登录和抓取数据而抓狂,那么来看看我们推荐的requests,python采集数据模拟登录必备利器!

这也是python推荐的HTTP客户端库:

本文就以一个模拟登录的例子来加以说明,至于采集大家就请自行发挥吧。

代码很简单,主要是展现python的requests库的简单至极,代码如下:

s = requests.session()
data = {'user':'用户名','passdw':'密码'}
#post 换成登录的地址,
res=s.post('http://www.xxx.net/index.php?action=login',data);
#换成抓取的地址
s.get('http://www.xxx.net/archives/155/');

看!仅仅4行代码,即可模拟登录。

Python 相关文章推荐
Python自定义函数的创建、调用和函数的参数详解
Mar 11 Python
Python入门篇之列表和元组
Oct 17 Python
Python中操作MySQL入门实例
Feb 08 Python
Python实现爬取需要登录的网站完整示例
Aug 19 Python
python距离测量的方法
Mar 06 Python
django静态文件加载的方法
May 20 Python
使用Python机器学习降低静态日志噪声
Sep 29 Python
python实现任意位置文件分割的实例
Dec 14 Python
PyTorch 解决Dataset和Dataloader遇到的问题
Jan 08 Python
Python实现aes加密解密多种方法解析
May 15 Python
详解pyinstaller生成exe的闪退问题解决方案
Jun 19 Python
python 利用zmail库发送邮件
Sep 11 Python
浅析python 中__name__ = '__main__' 的作用
Jul 05 #Python
python在windows下实现备份程序实例
Jul 04 #Python
python调用短信猫控件实现发短信功能实例
Jul 04 #Python
Python实现类继承实例
Jul 04 #Python
Django集成百度富文本编辑器uEditor攻略
Jul 04 #Python
一个小示例告诉你Python语言的优雅之处
Jul 04 #Python
教你如何将 Sublime 3 打造成 Python/Django IDE开发利器
Jul 04 #Python
You might like
POSIX 风格和兼容 Perl 风格两种正则表达式主要函数的类比(preg_match, preg_replace, ereg, ereg_replace)
2010/10/12 PHP
Linux安装配置php环境的方法
2016/01/14 PHP
ThinkPHP框架实现定时执行任务的两种方法分析
2018/09/04 PHP
浅析PHP 中move_uploaded_file 上传中文文件名失败
2019/04/17 PHP
jquery入门—选择器实现隔行变色实例代码
2013/01/04 Javascript
鼠标经过子元素触发mouseout,mouseover事件的解决方案
2015/07/26 Javascript
javascript实现在下拉列表中显示多级树形菜单的方法
2015/08/12 Javascript
webuploader模态框ueditor显示问题解决方法
2016/12/27 Javascript
百度地图API之百度地图退拽标记点获取经纬度的实现代码
2017/01/12 Javascript
JavaScript字符集编码与解码详谈
2017/02/02 Javascript
详解基于webpack和vue.js搭建开发环境
2017/04/05 Javascript
深究AngularJS如何获取input的焦点(自定义指令)
2017/06/12 Javascript
详解node nvm进行node多版本管理
2017/10/21 Javascript
解决微信小程序中转换时间格式IOS不兼容的问题
2019/02/15 Javascript
jQuery实现的五星点评功能【案例】
2019/02/18 jQuery
package.json配置文件构成详解
2019/08/27 Javascript
vue-property-decorator用法详解
2019/12/12 Javascript
js实现时间日期校验
2020/05/26 Javascript
[52:03]Secret vs VG 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
python进阶教程之动态类型详解
2014/08/30 Python
Python之批量创建文件的实例讲解
2018/05/10 Python
tensorflow实现加载mnist数据集
2018/09/08 Python
Python3爬虫学习之MySQL数据库存储爬取的信息详解
2018/12/12 Python
Python3基础教程之递归函数简单示例
2019/06/07 Python
python matplotlib库直方图绘制详解
2019/08/10 Python
Python 可变类型和不可变类型及引用过程解析
2019/09/27 Python
使用python turtle画高达
2020/01/19 Python
python GUI计算器的实现
2020/10/09 Python
PyTorch 中的傅里叶卷积实现示例
2020/12/11 Python
入党积极分子自我鉴定范文
2014/03/25 职场文书
委托证明模板
2014/09/16 职场文书
市委常委班子党的群众路线教育实践活动整改措施
2014/10/02 职场文书
校长一岗双责责任书
2015/05/09 职场文书
活动新闻稿范文
2015/07/17 职场文书
Python 中 Shutil 模块详情
2021/11/11 Python
CPU不支持Windows11系统怎么办
2021/11/21 数码科技