python采用requests库模拟登录和抓取数据的简单示例


Posted in Python onJuly 05, 2014

如果你还在为python的各种urllib和urlibs,cookielib 头疼,或者还还在为python模拟登录和抓取数据而抓狂,那么来看看我们推荐的requests,python采集数据模拟登录必备利器!

这也是python推荐的HTTP客户端库:

本文就以一个模拟登录的例子来加以说明,至于采集大家就请自行发挥吧。

代码很简单,主要是展现python的requests库的简单至极,代码如下:

s = requests.session()
data = {'user':'用户名','passdw':'密码'}
#post 换成登录的地址,
res=s.post('http://www.xxx.net/index.php?action=login',data);
#换成抓取的地址
s.get('http://www.xxx.net/archives/155/');

看!仅仅4行代码,即可模拟登录。

Python 相关文章推荐
python zip文件 压缩
Dec 24 Python
Python写的Socks5协议代理服务器
Aug 06 Python
python以环状形式组合排列图片并输出的方法
Mar 17 Python
DataFrame 将某列数据转为数组的方法
Apr 13 Python
python 按照固定长度分割字符串的方法小结
Apr 30 Python
Django组件之cookie与session的使用方法
Jan 10 Python
将labelme格式数据转化为标准的coco数据集格式方式
Feb 17 Python
python GUI库图形界面开发之PyQt5线程类QThread详细使用方法
Feb 26 Python
Python如何获取文件指定行的内容
May 27 Python
django restframework serializer 增加自定义字段操作
Jul 15 Python
详细分析Python collections工具库
Jul 16 Python
Python操作Word批量生成合同的实现示例
Aug 28 Python
浅析python 中__name__ = '__main__' 的作用
Jul 05 #Python
python在windows下实现备份程序实例
Jul 04 #Python
python调用短信猫控件实现发短信功能实例
Jul 04 #Python
Python实现类继承实例
Jul 04 #Python
Django集成百度富文本编辑器uEditor攻略
Jul 04 #Python
一个小示例告诉你Python语言的优雅之处
Jul 04 #Python
教你如何将 Sublime 3 打造成 Python/Django IDE开发利器
Jul 04 #Python
You might like
定义php常量的详解
2013/06/09 PHP
PHP操作redis实现的分页列表,新增,删除功能封装类与用法示例
2018/08/04 PHP
php判断某个方法是否存在函数function_exists (),method_exists()与is_callable()区别与用法解析
2020/04/20 PHP
关于IE7 IE8弹出窗口顶上
2008/12/22 Javascript
jQuery 白痴级入门教程
2009/11/11 Javascript
JavaScript获取当前网页标题(title)的方法
2015/04/03 Javascript
使用JavaScript实现连续滚动字幕效果的方法
2015/07/07 Javascript
jquery如何获取元素的滚动条高度等实现代码
2015/10/19 Javascript
解决js函数闭包内存泄露问题的办法
2016/01/25 Javascript
JS实现设置ff与ie元素绝对位置的方法
2016/03/08 Javascript
jQuery qrcode生成二维码的方法
2016/04/03 Javascript
JavaScript学习笔记整理_setTimeout的应用
2016/09/19 Javascript
浅谈js script标签中的预解析
2016/12/30 Javascript
JavaScript中Hoisting详解 (变量提升与函数声明提升)
2017/08/18 Javascript
js实现动态添加上传文件页面
2018/10/22 Javascript
JavaScript学习笔记之图片库案例分析
2019/01/08 Javascript
使用axios请求时,发送formData请求的示例
2019/10/29 Javascript
[01:04:09]DOTA2-DPC中国联赛 正赛 iG vs VG BO3 第二场 2月2日
2021/03/11 DOTA
如何解决django配置settings时遇到Could not import settings 'conf.local'
2014/11/18 Python
python解决汉字编码问题:Unicode Decode Error
2017/01/19 Python
Python数据类型之列表和元组的方法实例详解
2019/07/08 Python
opencv python 图片读取与显示图片窗口未响应问题的解决
2020/04/24 Python
详解基于Scrapy的IP代理池搭建
2020/09/29 Python
PyQt实现计数器的方法示例
2021/01/18 Python
Python3自带工具2to3.py 转换 Python2.x 代码到Python3的操作
2021/03/03 Python
HTML5 video标签(播放器)学习笔记(一):使用入门
2015/04/24 HTML / CSS
印尼在线购买隐形眼镜网站:Lensza.co.id
2019/04/27 全球购物
Flesh Beauty官网:露华浓集团旗下彩妆品牌
2021/02/15 全球购物
《玩具柜台前的孩子》教学反思
2014/02/13 职场文书
党的群众路线教育实践活动学习心得体会
2014/03/03 职场文书
单位工程竣工验收方案
2014/03/16 职场文书
2015年财务人员个人工作总结
2015/07/27 职场文书
母亲节主题班会
2015/08/14 职场文书
JavaScript实现简单图片切换
2021/04/29 Javascript
详解MySQL集群搭建
2021/05/26 MySQL
Tensorflow与RNN、双向LSTM等的踩坑记录及解决
2021/05/31 Python