如何使用Python的Requests包实现模拟登陆


Posted in Python onApril 27, 2018

前段时间喜欢用python去抓一些页面玩,但都基本上都是用get请求一些页面,再通过正则去过滤。

今天试了一下,模拟登陆个人网站。发现也比较简单。读懂本文需要对http协议和http会话有一定的理解。

注明:因为模拟登陆的是我的个人网站,所以以下代码对个人网站和账号密码做了处理。

网站分析

爬虫的必备第一步,分析目标网站。这里使用谷歌浏览器的开发者者工具分析。

通过登陆抓取,看到这样一个请求。

上方部分为请求头,下面部分为请求是传的参数。由图片可以看出,页面通过表单提交了三个参数。分别为_csrf,usermane,password。

其中csrf是为了预防跨域脚本伪造。原理很简单,就是每一次请求,服务器生成一串加密字符串。放在隐藏的input表单中。再一次请求的时候,把这个字符串一起传过去,为了验证是否为同一个用户的请求。

如何使用Python的Requests包实现模拟登陆

因此,我们的代码逻辑就有了。首先请求一次登录页面。然后分析页面,拿到csrf字符串。最后把这个字符串和账号密码一起传给服务器用来登录。

第一份代码

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

import requests
import re

# 头部信息
headers = {
 'Host':"localhost",
 'Accept-Language':"zh-CN,zh;q=0.8",
 'Accept-Encoding':"gzip, deflate",
 'Content-Type':"application/x-www-form-urlencoded",
 'Connection':"keep-alive",
 'Referer':"http://localhost/login",
 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}

# 登陆方法
def login(url,csrf):
 data = {
 "_csrf" : csrf,
 "username": "xiedj",
 "password": "***"
 }

 response = requests.post(url, data=data, headers=headers)
 return response.content


# 第一次访问获取csrf值
def get_login_web(url):
 page = requests.get('http://localhost/login')
 reg = r'<meta name="csrf-token" content="(.+)">'
 csrf = re.findall(reg,page.content)[0]
 login_page = login(url,csrf)
 print login_page


if __name__ == "__main__":
 url = "http://localhost/login/checklogin"
 get_login_web(url)

代码看起来好像没有什么问题。然而执行的时候出错了。核查了一下,错误的原因是,csrf验证失败!

再多次确认获取的csrf和请求登录的csrf字符串没问题了之后,我想到了一个问题。
如果,大家还不知道错误原因的话,这里可以暂停思考一个问题。“服务器如何知道,第一次请求获取csrf和第二次post登录请求是同一个用户?”

到这,应该都清楚了,如果要登录成功,需要解决如何让服务相信两次请求是同一个用户。这里需要用到http会话(不清楚的可以自行百度,这里简单介绍)。

http协议是一个种无状态的协议。为了使这种无状态变得有状态,因此引进了会话。简单的讲,通过session去记录这个状态。当一个用户第一次请求web服务的时候,服务器会生成一个session,用于保存这个用户的信息。同时,在返回给用户端时,把这个sessionID保存在cookies里。当用户再一次请求的时候,浏览器会把这个cookies带上。因此在服务器端就能知道多次请求是否为同一个用户。

因此我们的代码,需要在第一次请求的时候拿到这个sessionID。第二次请求的时候把这个sessionID一起传过去。而requests厉害的地方就是,一句简单requests.Session(),就能使用这个会话对象。

第二份代码

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

import requests
import re

# 头部信息
headers = {
 'Host':"localhost",
 'Accept-Language':"zh-CN,zh;q=0.8",
 'Accept-Encoding':"gzip, deflate",
 'Content-Type':"application/x-www-form-urlencoded",
 'Connection':"keep-alive",
 'Referer':"http://localhost/login",
 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}

# 登陆方法
def login(url,csrf,r_session):
 data = {
 "_csrf" : csrf,
 "username": "xiedj",
 "password": "***"
 }

 response = r_session.post(url, data=data, headers=headers)
 return response.content


# 第一次访问获取csrf值
def get_login_web(url):
 r_session = requests.Session()
 page = r_session.get('http://localhost/login')
 reg = r'<meta name="csrf-token" content="(.+)">'
 csrf = re.findall(reg,page.content)[0]


 login_page = login(url,csrf,r_session)
 print login_page


if __name__ == "__main__":
 url = "http://localhost/login/checklogin"
 get_login_web(url)

成功获取登陆后的页面

如何使用Python的Requests包实现模拟登陆

由代码可以知道,requests.Session()启动会话对象后,第二次请求会自动把上一次的sessionID一起传过去。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
浅谈Python peewee 使用经验
Oct 20 Python
Python实现求一个集合所有子集的示例
May 04 Python
pytorch 把MNIST数据集转换成图片和txt的方法
May 20 Python
Python面向对象基础入门之设置对象属性
Dec 11 Python
python集合是否可变总结
Jun 20 Python
在Python中实现函数重载的示例代码
Dec 12 Python
使用PyTorch将文件夹下的图片分为训练集和验证集实例
Jan 08 Python
关于python pycharm中输出的内容不全的解决办法
Jan 10 Python
python:目标检测模型预测准确度计算方式(基于IoU)
Jan 18 Python
JupyterNotebook 输出窗口的显示效果调整方法
Apr 13 Python
Python连接Impala实现步骤解析
Aug 04 Python
Python爬取微信小程序Charles实现过程图解
Sep 29 Python
Python可变参数*args和**kwargs用法实例小结
Apr 27 #Python
python实现对文件中图片生成带标签的txt文件方法
Apr 27 #Python
python模拟表单提交登录图书馆
Apr 27 #Python
Python 读取指定文件夹下的所有图像方法
Apr 27 #Python
python sys,os,time模块的使用(包括时间格式的各种转换)
Apr 27 #Python
python读取文件名称生成list的方法
Apr 27 #Python
python实现图书馆研习室自动预约功能
Apr 27 #Python
You might like
php网站地图生成类示例
2014/01/13 PHP
windows中为php安装mongodb与memcache
2015/01/06 PHP
php中get_magic_quotes_gpc()函数说明
2017/02/06 PHP
在页面上点击任一链接时触发一个事件的代码
2007/04/07 Javascript
JavaScript 学习笔记(七)字符串的连接
2009/12/31 Javascript
jQuery学习基础知识小结
2010/11/25 Javascript
常见效果实现之返回顶部(结合淡入、淡出、减速滚动)
2012/01/04 Javascript
javaScript 动态访问JSon元素示例代码
2013/08/30 Javascript
ExtJs纵坐标值重复问题的解决方法
2014/02/27 Javascript
基于jquery实现页面滚动到底自动加载数据的功能
2015/12/19 Javascript
Javascript基础之数组的使用
2016/05/13 Javascript
使用jQuery中的wrap()函数操作HTML元素的教程
2016/05/24 Javascript
谈谈JavaScript数组常用方法总结
2017/01/24 Javascript
JavaScript实现二分查找实例代码
2017/02/22 Javascript
基于JQuery的购物车添加删除以及结算功能示例
2017/03/08 Javascript
JavaScript用二分法查找数据的实例代码
2017/06/17 Javascript
JSON基本语法及与JavaScript的异同实例分析
2019/01/04 Javascript
webpack DllPlugin xxx is not defined解决办法
2019/12/13 Javascript
Python中的装饰器用法详解
2015/01/14 Python
在python中利用最小二乘拟合二次抛物线函数的方法
2018/12/29 Python
python 将字符串完成特定的向右移动方法
2019/06/11 Python
django认证系统 Authentication使用详解
2019/07/22 Python
Python3简单爬虫抓取网页图片代码实例
2019/08/26 Python
Django发送邮件功能实例详解
2019/09/02 Python
在pycharm中实现删除bookmark
2020/02/14 Python
浅谈selenium如何应对网页内容需要鼠标滚动加载的问题
2020/03/14 Python
python3 正则表达式基础廖雪峰
2020/03/25 Python
详解使用HTML5的classList属性操作CSS类
2017/10/13 HTML / CSS
使用phonegap进行本地存储的实现方法
2017/03/31 HTML / CSS
世界最大的票务市场:viagogo
2017/02/16 全球购物
Zadig&Voltaire官网:法国时装品牌
2018/01/05 全球购物
中学校庆方案
2014/03/17 职场文书
2014年度思想工作总结
2014/11/27 职场文书
2015新生加入学生会自荐书
2015/03/24 职场文书
个人工作决心书
2015/09/22 职场文书
用人单位的规章制度,怎样制定才是有效的?
2019/07/09 职场文书