如何使用Python的Requests包实现模拟登陆


Posted in Python onApril 27, 2018

前段时间喜欢用python去抓一些页面玩,但都基本上都是用get请求一些页面,再通过正则去过滤。

今天试了一下,模拟登陆个人网站。发现也比较简单。读懂本文需要对http协议和http会话有一定的理解。

注明:因为模拟登陆的是我的个人网站,所以以下代码对个人网站和账号密码做了处理。

网站分析

爬虫的必备第一步,分析目标网站。这里使用谷歌浏览器的开发者者工具分析。

通过登陆抓取,看到这样一个请求。

上方部分为请求头,下面部分为请求是传的参数。由图片可以看出,页面通过表单提交了三个参数。分别为_csrf,usermane,password。

其中csrf是为了预防跨域脚本伪造。原理很简单,就是每一次请求,服务器生成一串加密字符串。放在隐藏的input表单中。再一次请求的时候,把这个字符串一起传过去,为了验证是否为同一个用户的请求。

如何使用Python的Requests包实现模拟登陆

因此,我们的代码逻辑就有了。首先请求一次登录页面。然后分析页面,拿到csrf字符串。最后把这个字符串和账号密码一起传给服务器用来登录。

第一份代码

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

import requests
import re

# 头部信息
headers = {
 'Host':"localhost",
 'Accept-Language':"zh-CN,zh;q=0.8",
 'Accept-Encoding':"gzip, deflate",
 'Content-Type':"application/x-www-form-urlencoded",
 'Connection':"keep-alive",
 'Referer':"http://localhost/login",
 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}

# 登陆方法
def login(url,csrf):
 data = {
 "_csrf" : csrf,
 "username": "xiedj",
 "password": "***"
 }

 response = requests.post(url, data=data, headers=headers)
 return response.content


# 第一次访问获取csrf值
def get_login_web(url):
 page = requests.get('http://localhost/login')
 reg = r'<meta name="csrf-token" content="(.+)">'
 csrf = re.findall(reg,page.content)[0]
 login_page = login(url,csrf)
 print login_page


if __name__ == "__main__":
 url = "http://localhost/login/checklogin"
 get_login_web(url)

代码看起来好像没有什么问题。然而执行的时候出错了。核查了一下,错误的原因是,csrf验证失败!

再多次确认获取的csrf和请求登录的csrf字符串没问题了之后,我想到了一个问题。
如果,大家还不知道错误原因的话,这里可以暂停思考一个问题。“服务器如何知道,第一次请求获取csrf和第二次post登录请求是同一个用户?”

到这,应该都清楚了,如果要登录成功,需要解决如何让服务相信两次请求是同一个用户。这里需要用到http会话(不清楚的可以自行百度,这里简单介绍)。

http协议是一个种无状态的协议。为了使这种无状态变得有状态,因此引进了会话。简单的讲,通过session去记录这个状态。当一个用户第一次请求web服务的时候,服务器会生成一个session,用于保存这个用户的信息。同时,在返回给用户端时,把这个sessionID保存在cookies里。当用户再一次请求的时候,浏览器会把这个cookies带上。因此在服务器端就能知道多次请求是否为同一个用户。

因此我们的代码,需要在第一次请求的时候拿到这个sessionID。第二次请求的时候把这个sessionID一起传过去。而requests厉害的地方就是,一句简单requests.Session(),就能使用这个会话对象。

第二份代码

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

import requests
import re

# 头部信息
headers = {
 'Host':"localhost",
 'Accept-Language':"zh-CN,zh;q=0.8",
 'Accept-Encoding':"gzip, deflate",
 'Content-Type':"application/x-www-form-urlencoded",
 'Connection':"keep-alive",
 'Referer':"http://localhost/login",
 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}

# 登陆方法
def login(url,csrf,r_session):
 data = {
 "_csrf" : csrf,
 "username": "xiedj",
 "password": "***"
 }

 response = r_session.post(url, data=data, headers=headers)
 return response.content


# 第一次访问获取csrf值
def get_login_web(url):
 r_session = requests.Session()
 page = r_session.get('http://localhost/login')
 reg = r'<meta name="csrf-token" content="(.+)">'
 csrf = re.findall(reg,page.content)[0]


 login_page = login(url,csrf,r_session)
 print login_page


if __name__ == "__main__":
 url = "http://localhost/login/checklogin"
 get_login_web(url)

成功获取登陆后的页面

如何使用Python的Requests包实现模拟登陆

由代码可以知道,requests.Session()启动会话对象后,第二次请求会自动把上一次的sessionID一起传过去。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Windows服务器下用Apache和mod_wsgi配置Python应用的教程
May 06 Python
深入理解Python中各种方法的运作原理
Jun 15 Python
Python利用QQ邮箱发送邮件的实现方法(分享)
Jun 09 Python
Python中将两个或多个list合成一个list的方法小结
May 12 Python
PowerBI和Python关于数据分析的对比
Jul 11 Python
python中eval与int的区别浅析
Aug 11 Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 Python
redis数据库及与python交互用法简单示例
Nov 01 Python
Python中的wordcloud库安装问题及解决方法
May 27 Python
python统计mysql数据量变化并调用接口告警的示例代码
Sep 21 Python
Python 实现RSA加解密文本文件
Dec 30 Python
python实现简单反弹球游戏
Apr 12 Python
Python可变参数*args和**kwargs用法实例小结
Apr 27 #Python
python实现对文件中图片生成带标签的txt文件方法
Apr 27 #Python
python模拟表单提交登录图书馆
Apr 27 #Python
Python 读取指定文件夹下的所有图像方法
Apr 27 #Python
python sys,os,time模块的使用(包括时间格式的各种转换)
Apr 27 #Python
python读取文件名称生成list的方法
Apr 27 #Python
python实现图书馆研习室自动预约功能
Apr 27 #Python
You might like
同时提取多条新闻中的文本一例
2006/10/09 PHP
php下实现伪 url 的超简单方法[转]
2007/09/24 PHP
php代码把全角数字转为半角数字
2007/12/10 PHP
php更改目录及子目录下所有的文件后缀的代码
2010/09/24 PHP
php仿QQ验证码的实例分析
2013/07/01 PHP
PHP中session变量的销毁
2014/02/27 PHP
PHP实现的统计数据功能详解
2016/12/06 PHP
php str_getcsv把字符串解析为数组的实现方法
2017/04/05 PHP
PHP关键特性之命名空间实例详解
2017/05/06 PHP
JavaScript多线程的实现方法
2007/05/08 Javascript
JavaScript 节点操作 以及DOMDocument属性和方法
2007/12/06 Javascript
JS脚本defer的作用示例介绍
2014/01/02 Javascript
JQuery 使用attr方法实现下拉列表选中
2014/10/13 Javascript
JS+CSS实现的拖动分页效果实例
2015/05/11 Javascript
在jQuery中使用$而避免跟其它库产生冲突的方法
2015/08/13 Javascript
javascript中利用柯里化函数实现bind方法
2016/04/29 Javascript
AngularJS入门示例之Hello World详解
2017/01/04 Javascript
从零开始做一个pagination分页组件
2017/03/15 Javascript
Angular2使用Augury来调试Angular2程序
2017/05/21 Javascript
JS运动特效之完美运动框架实例分析
2018/01/24 Javascript
vue2.0自定义指令示例代码详解
2019/04/25 Javascript
layui实现根据table数据判断按钮显示情况的方法
2019/09/26 Javascript
p5.js码绘“跳动的小正方形”的实现代码
2019/10/22 Javascript
python使用urllib2实现发送带cookie的请求
2015/04/28 Python
python使用Matplotlib画饼图
2018/09/25 Python
padas 生成excel 增加sheet表的实例
2018/12/11 Python
python3+selenium实现126邮箱登陆并发送邮件功能
2019/01/23 Python
Python+OpenCV图像处理—— 色彩空间转换
2020/10/22 Python
您的网上新华书店:文轩网
2016/08/24 全球购物
NULL是什么,它是怎么定义的
2015/05/09 面试题
大专计算机个人求职的自我评价
2013/10/21 职场文书
授权委托书(法人单位用)
2014/09/29 职场文书
2015年学校团委工作总结
2015/05/26 职场文书
小学教师见习总结
2015/06/23 职场文书
党组织结对共建协议书
2016/03/23 职场文书
Python selenium模拟网页点击爬虫交管12123违章数据
2021/05/26 Python