python爬虫框架scrapy实现模拟登录操作示例


Posted in Python onAugust 02, 2018

本文实例讲述了python爬虫框架scrapy实现模拟登录操作。分享给大家供大家参考,具体如下:

一、背景:

初来乍到的pythoner,刚开始的时候觉得所有的网站无非就是分析HTML、json数据,但是忽略了很多的一个问题,有很多的网站为了反爬虫,除了需要高可用代理IP地址池外,还需要登录。例如知乎,很多信息都是需要登录以后才能爬取,但是频繁登录后就会出现验证码(有些网站直接就让你输入验证码),这就坑了,毕竟运维同学很辛苦,该反的还得反,那我们怎么办呢?这不说验证码的事儿,你可以自己手动输入验证,或者直接用云打码平台,这里我们介绍一个scrapy的登录用法。

 测试登录地址:http://example.webscraping.com/places/default/user/login

 测试主页:http://example.webscraping.com/user/profile

1、这里不在叙述如何创建scrapy项目和spider,可以看前面的相关文章

二、快速登录方法

我们在这里做了一个简单的介绍,我们都知道scrapy的基本请求流程是start_request方法遍历start_urls列表,然后make_requests_from_url方法,里面执行Request方法,请求start_urls里面的地址,但是这里我们用的不再是GET方法,而用的是POST方法,也就常说的登录。

1、首先我们改写start_reqeusts方法,直接GET登录页面的HTML信息(有些人说你不是POST登录么,干嘛还GET,别着急,你得先GET到登录页面的登录信息,才知道登录的账户、密码等怎么提交,往哪里提交)

2、start_request方法GET到数据后,用callback参数,执行拿到response后要接下来执行哪个方法,然后在login方法里面写入登录用户名和密码(还是老样子,一定要用dict),然后只用Request子类scrapy.FormRequest这个方法提交数据,这我一个的是FormRequest.from_response方法。

有些人会问,这个from__response的基本使用是条用是需要传入一个response对象作为第一个参数,这个方法会从页面中form表单中,帮助用户创建FormRequest对象,最最最最重要的是它会帮你把隐藏的input标签中的信息自动跳入表达,使用这个中方法,我们直接写用户名和密码即可,我们在最后面再介绍传统方法。

3、parse_login方法是提交完表单后callback回调函数指定要执行的方法,为了验证是否成功。这里我们直接在response中搜索Welcome Liu这个字眼就证明登录成功。这个好理解,重点是yield  from super().start_resquests(),这个代表着如果一旦登录成功后,就直接带着登录成功后Cookie值,方法start_urls里面的地址。这样的话登录成功后的response可以直接在parse里面写。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
  name = "login_"
  allowed_domains = ["example.webscraping.com"]
  start_urls = ['http://example.webscraping.com/user/profile']
  login_url = 'http://example.webscraping.com/places/default/user/login'
  def parse(self, response):
    print(response.text)
  def start_requests(self):
    yield scrapy.Request(self.login_url,callback=self.login)
  def login(self,response):
    formdata = {
      'email':'liushuo@webscraping.com','password':'12345678'}
    yield FormRequest.from_response(response,formdata=formdata,
                    callback=self.parse_login)
  def parse_login(self,response):
    # print('>>>>>>>>'+response.text)
    if 'Welcome Liu' in response.text:
      yield from super().start_requests()

有的同学可能问了,login方法里面不是应该写reture 么,其实上面的写法跟下面的这种写法是一样效果,如果再有个CSRF的话,也可以直接在login里面写拿到CSRF信息,写入到formdata里面跟用户名和密码一起提交。

return [FormRequest.from_response(response,formdata=formdata,callback=self.parse_login)]

登录成功

python爬虫框架scrapy实现模拟登录操作示例

三、传统登录方法:

1、首先要明确一件事情,一般情况下需要登录的网站,不只需要登录用户和密码,接下来我们聊聊上面说的传统登录模式。用户在登录的时候并不是只需要登录账户信息,除了常见直观的验证码和CSRF信息外,也有可能需要提交其它信息,我们必须把它们都提取到一起提交给服务器。

python爬虫框架scrapy实现模拟登录操作示例

2、我们在form表单下面找到了一个display:none的div标签,里面的input标签的value值正好是我们要提交的数据,那我们就提取到他。

python爬虫框架scrapy实现模拟登录操作示例

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python进程类subprocess的一些操作方法例子
Nov 22 Python
Python格式化css文件的方法
Mar 10 Python
由Python运算π的值深入Python中科学计算的实现
Apr 17 Python
Python中用于返回绝对值的abs()方法
May 14 Python
对python中的argv和argc使用详解
Dec 15 Python
Python3爬虫全国地址信息
Jan 05 Python
Django页面数据的缓存与使用的具体方法
Apr 23 Python
python3实现elasticsearch批量更新数据
Dec 03 Python
Django 自定义权限管理系统详解(通过中间件认证)
Mar 11 Python
基于SpringBoot构造器注入循环依赖及解决方式
Apr 26 Python
Python第三方包PrettyTable安装及用法解析
Jul 08 Python
python批量生成身份证号到Excel的两种方法实例
Jan 14 Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
Python列表生成式与生成器操作示例
Aug 01 #Python
Python开发最牛逼的IDE——pycharm
Aug 01 #Python
You might like
PHP常用处理静态操作类
2015/04/03 PHP
javascript new一个对象的实质
2010/01/07 Javascript
Javascript中string转date示例代码
2013/11/01 Javascript
新手快速学习JavaScript免费教程资源汇总
2015/06/25 Javascript
uploadify多文件上传参数设置技巧
2015/11/16 Javascript
ichart.js绘制虚线、平均分虚线效果的实现代码
2016/05/05 Javascript
Vue2 SSR渲染根据不同页面修改 meta
2017/11/20 Javascript
在Vue methods中调用filters里的过滤器实例
2018/08/30 Javascript
浅谈React之状态(State)
2018/09/19 Javascript
JQuery判断radio单选框是否选中并获取值的方法
2019/01/17 jQuery
JavaScript实现简单随机点名器
2019/11/21 Javascript
[53:21]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS LGD-CDEC
2014/05/22 DOTA
Python基于pygame实现的font游戏字体(附源码)
2015/11/11 Python
python批量替换页眉页脚实例代码
2018/01/22 Python
Django中的forms组件实例详解
2018/11/08 Python
pycharm 解除默认unittest模式的方法
2018/11/30 Python
python 多线程串行和并行的实例
2019/02/22 Python
python函数的万能参数传参详解
2019/07/26 Python
Python常用模块logging——日志输出功能(示例代码)
2019/11/20 Python
Python实现随机生成任意数量车牌号
2020/01/21 Python
Python flask框架实现浏览器点击自定义跳转页面
2020/06/04 Python
html5 自定义播放器核心代码
2013/12/20 HTML / CSS
Exception类的常用方法
2012/06/16 面试题
Java语言程序设计测试题改错题部分
2014/07/22 面试题
打造高效课堂实施方案
2014/03/22 职场文书
个人校本研修方案
2014/05/26 职场文书
相亲大会策划方案
2014/06/05 职场文书
创建绿色学校先进个人材料
2014/08/20 职场文书
教师自我剖析材料(群众路线)
2014/09/29 职场文书
2016学习雷锋精神活动倡议书
2015/04/27 职场文书
第一书记观后感
2015/06/08 职场文书
签约仪式致辞
2015/07/30 职场文书
好段摘抄大全(48句)
2019/08/08 职场文书
中国古代史学名著《战国策》概述
2019/08/09 职场文书
《悲惨世界》:比天空更广阔的是人的心灵
2020/01/16 职场文书
十大最强格斗系宝可梦,超梦X仅排第十,第二最重格斗礼仪
2022/03/18 日漫