如何使用Python的Requests包实现模拟登陆


Posted in Python onApril 27, 2018

前段时间喜欢用python去抓一些页面玩,但都基本上都是用get请求一些页面,再通过正则去过滤。

今天试了一下,模拟登陆个人网站。发现也比较简单。读懂本文需要对http协议和http会话有一定的理解。

注明:因为模拟登陆的是我的个人网站,所以以下代码对个人网站和账号密码做了处理。

网站分析

爬虫的必备第一步,分析目标网站。这里使用谷歌浏览器的开发者者工具分析。

通过登陆抓取,看到这样一个请求。

上方部分为请求头,下面部分为请求是传的参数。由图片可以看出,页面通过表单提交了三个参数。分别为_csrf,usermane,password。

其中csrf是为了预防跨域脚本伪造。原理很简单,就是每一次请求,服务器生成一串加密字符串。放在隐藏的input表单中。再一次请求的时候,把这个字符串一起传过去,为了验证是否为同一个用户的请求。

如何使用Python的Requests包实现模拟登陆

因此,我们的代码逻辑就有了。首先请求一次登录页面。然后分析页面,拿到csrf字符串。最后把这个字符串和账号密码一起传给服务器用来登录。

第一份代码

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

import requests
import re

# 头部信息
headers = {
 'Host':"localhost",
 'Accept-Language':"zh-CN,zh;q=0.8",
 'Accept-Encoding':"gzip, deflate",
 'Content-Type':"application/x-www-form-urlencoded",
 'Connection':"keep-alive",
 'Referer':"http://localhost/login",
 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}

# 登陆方法
def login(url,csrf):
 data = {
 "_csrf" : csrf,
 "username": "xiedj",
 "password": "***"
 }

 response = requests.post(url, data=data, headers=headers)
 return response.content


# 第一次访问获取csrf值
def get_login_web(url):
 page = requests.get('http://localhost/login')
 reg = r'<meta name="csrf-token" content="(.+)">'
 csrf = re.findall(reg,page.content)[0]
 login_page = login(url,csrf)
 print login_page


if __name__ == "__main__":
 url = "http://localhost/login/checklogin"
 get_login_web(url)

代码看起来好像没有什么问题。然而执行的时候出错了。核查了一下,错误的原因是,csrf验证失败!

再多次确认获取的csrf和请求登录的csrf字符串没问题了之后,我想到了一个问题。
如果,大家还不知道错误原因的话,这里可以暂停思考一个问题。“服务器如何知道,第一次请求获取csrf和第二次post登录请求是同一个用户?”

到这,应该都清楚了,如果要登录成功,需要解决如何让服务相信两次请求是同一个用户。这里需要用到http会话(不清楚的可以自行百度,这里简单介绍)。

http协议是一个种无状态的协议。为了使这种无状态变得有状态,因此引进了会话。简单的讲,通过session去记录这个状态。当一个用户第一次请求web服务的时候,服务器会生成一个session,用于保存这个用户的信息。同时,在返回给用户端时,把这个sessionID保存在cookies里。当用户再一次请求的时候,浏览器会把这个cookies带上。因此在服务器端就能知道多次请求是否为同一个用户。

因此我们的代码,需要在第一次请求的时候拿到这个sessionID。第二次请求的时候把这个sessionID一起传过去。而requests厉害的地方就是,一句简单requests.Session(),就能使用这个会话对象。

第二份代码

#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-

import requests
import re

# 头部信息
headers = {
 'Host':"localhost",
 'Accept-Language':"zh-CN,zh;q=0.8",
 'Accept-Encoding':"gzip, deflate",
 'Content-Type':"application/x-www-form-urlencoded",
 'Connection':"keep-alive",
 'Referer':"http://localhost/login",
 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
}

# 登陆方法
def login(url,csrf,r_session):
 data = {
 "_csrf" : csrf,
 "username": "xiedj",
 "password": "***"
 }

 response = r_session.post(url, data=data, headers=headers)
 return response.content


# 第一次访问获取csrf值
def get_login_web(url):
 r_session = requests.Session()
 page = r_session.get('http://localhost/login')
 reg = r'<meta name="csrf-token" content="(.+)">'
 csrf = re.findall(reg,page.content)[0]


 login_page = login(url,csrf,r_session)
 print login_page


if __name__ == "__main__":
 url = "http://localhost/login/checklogin"
 get_login_web(url)

成功获取登陆后的页面

如何使用Python的Requests包实现模拟登陆

由代码可以知道,requests.Session()启动会话对象后,第二次请求会自动把上一次的sessionID一起传过去。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 命令行参数sys.argv
Sep 06 Python
通过5个知识点轻松搞定Python的作用域
Sep 09 Python
Python解析excel文件存入sqlite数据库的方法
Nov 15 Python
python 重定向获取真实url的方法
May 11 Python
python3使用腾讯企业邮箱发送邮件的实例
Jun 28 Python
python 执行终端/控制台命令的例子
Jul 12 Python
python函数的作用域及关键字详解
Aug 20 Python
python创建学生管理系统
Nov 22 Python
Python unittest单元测试框架实现参数化
Apr 29 Python
Python接收手机短信的代码整理
Aug 02 Python
Python使用psutil库对系统数据进行采集监控的方法
Aug 23 Python
Python实现将多张图片合成MP4视频并加入背景音乐
Apr 28 Python
Python可变参数*args和**kwargs用法实例小结
Apr 27 #Python
python实现对文件中图片生成带标签的txt文件方法
Apr 27 #Python
python模拟表单提交登录图书馆
Apr 27 #Python
Python 读取指定文件夹下的所有图像方法
Apr 27 #Python
python sys,os,time模块的使用(包括时间格式的各种转换)
Apr 27 #Python
python读取文件名称生成list的方法
Apr 27 #Python
python实现图书馆研习室自动预约功能
Apr 27 #Python
You might like
mysql_fetch_row,mysql_fetch_array,mysql_fetch_assoc的区别
2009/04/24 PHP
php实现telnet功能示例
2014/04/08 PHP
js模拟弹出效果代码修正版
2008/08/07 Javascript
js左侧多级菜单动态的解决方案
2010/02/01 Javascript
33个优秀的 jQuery 图片展示插件分享
2012/03/14 Javascript
解决js函数闭包内存泄露问题的办法
2016/01/25 Javascript
浅析AMD CMD CommonJS规范--javascript模块化加载学习心得总结
2016/03/16 Javascript
JavaScript中日期函数的相关操作知识
2016/08/03 Javascript
jQuery grep()方法详解及实例代码
2016/10/30 Javascript
jquery.zclip轻量级复制失效问题
2017/01/08 Javascript
nodejs利用ajax实现网页无刷新上传图片实例代码
2017/06/06 NodeJs
浅析Vue自定义组件的v-model
2017/11/26 Javascript
关于vue单文件中引用路径的处理方法
2018/01/08 Javascript
Vue引用第三方datepicker插件无法监听datepicker输入框的值的解决
2018/01/27 Javascript
用原生JS实现爱奇艺首页导航栏代码实例
2019/09/19 Javascript
举例讲解Python设计模式编程中的访问者与观察者模式
2016/01/26 Python
python 接口返回的json字符串实例
2018/03/27 Python
Python解决线性代数问题之矩阵的初等变换方法
2018/12/12 Python
在django admin中添加自定义视图的例子
2019/07/26 Python
Python pandas自定义函数的使用方法示例
2019/11/20 Python
Python使用matplotlib绘制圆形代码实例
2020/05/27 Python
使用python matploblib库绘制准确率,损失率折线图
2020/06/16 Python
Python3使用 GitLab API 进行批量合并分支
2020/10/15 Python
python 如何读、写、解析CSV文件
2021/03/03 Python
css3实现椭圆轨迹旋转的示例代码
2018/10/29 HTML / CSS
肯尼亚网上商城:Kilimall
2016/08/20 全球购物
塔吉特百货公司官网:Target
2017/04/27 全球购物
英国著名的小众美容品牌网站:Alyaka
2017/08/08 全球购物
房屋公证委托书
2014/04/03 职场文书
关爱残疾人演讲稿
2014/05/24 职场文书
2014年心理健康教育工作总结
2014/12/06 职场文书
个人思想政治总结
2015/03/05 职场文书
关于空气污染危害的感想
2015/08/11 职场文书
教师培训学习心得体会
2016/01/21 职场文书
七年级语文教学反思
2016/03/03 职场文书
详解CSS故障艺术
2021/05/25 HTML / CSS