python爬虫框架scrapy实现模拟登录操作示例


Posted in Python onAugust 02, 2018

本文实例讲述了python爬虫框架scrapy实现模拟登录操作。分享给大家供大家参考,具体如下:

一、背景:

初来乍到的pythoner,刚开始的时候觉得所有的网站无非就是分析HTML、json数据,但是忽略了很多的一个问题,有很多的网站为了反爬虫,除了需要高可用代理IP地址池外,还需要登录。例如知乎,很多信息都是需要登录以后才能爬取,但是频繁登录后就会出现验证码(有些网站直接就让你输入验证码),这就坑了,毕竟运维同学很辛苦,该反的还得反,那我们怎么办呢?这不说验证码的事儿,你可以自己手动输入验证,或者直接用云打码平台,这里我们介绍一个scrapy的登录用法。

 测试登录地址:http://example.webscraping.com/places/default/user/login

 测试主页:http://example.webscraping.com/user/profile

1、这里不在叙述如何创建scrapy项目和spider,可以看前面的相关文章

二、快速登录方法

我们在这里做了一个简单的介绍,我们都知道scrapy的基本请求流程是start_request方法遍历start_urls列表,然后make_requests_from_url方法,里面执行Request方法,请求start_urls里面的地址,但是这里我们用的不再是GET方法,而用的是POST方法,也就常说的登录。

1、首先我们改写start_reqeusts方法,直接GET登录页面的HTML信息(有些人说你不是POST登录么,干嘛还GET,别着急,你得先GET到登录页面的登录信息,才知道登录的账户、密码等怎么提交,往哪里提交)

2、start_request方法GET到数据后,用callback参数,执行拿到response后要接下来执行哪个方法,然后在login方法里面写入登录用户名和密码(还是老样子,一定要用dict),然后只用Request子类scrapy.FormRequest这个方法提交数据,这我一个的是FormRequest.from_response方法。

有些人会问,这个from__response的基本使用是条用是需要传入一个response对象作为第一个参数,这个方法会从页面中form表单中,帮助用户创建FormRequest对象,最最最最重要的是它会帮你把隐藏的input标签中的信息自动跳入表达,使用这个中方法,我们直接写用户名和密码即可,我们在最后面再介绍传统方法。

3、parse_login方法是提交完表单后callback回调函数指定要执行的方法,为了验证是否成功。这里我们直接在response中搜索Welcome Liu这个字眼就证明登录成功。这个好理解,重点是yield  from super().start_resquests(),这个代表着如果一旦登录成功后,就直接带着登录成功后Cookie值,方法start_urls里面的地址。这样的话登录成功后的response可以直接在parse里面写。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
  name = "login_"
  allowed_domains = ["example.webscraping.com"]
  start_urls = ['http://example.webscraping.com/user/profile']
  login_url = 'http://example.webscraping.com/places/default/user/login'
  def parse(self, response):
    print(response.text)
  def start_requests(self):
    yield scrapy.Request(self.login_url,callback=self.login)
  def login(self,response):
    formdata = {
      'email':'liushuo@webscraping.com','password':'12345678'}
    yield FormRequest.from_response(response,formdata=formdata,
                    callback=self.parse_login)
  def parse_login(self,response):
    # print('>>>>>>>>'+response.text)
    if 'Welcome Liu' in response.text:
      yield from super().start_requests()

有的同学可能问了,login方法里面不是应该写reture 么,其实上面的写法跟下面的这种写法是一样效果,如果再有个CSRF的话,也可以直接在login里面写拿到CSRF信息,写入到formdata里面跟用户名和密码一起提交。

return [FormRequest.from_response(response,formdata=formdata,callback=self.parse_login)]

登录成功

python爬虫框架scrapy实现模拟登录操作示例

三、传统登录方法:

1、首先要明确一件事情,一般情况下需要登录的网站,不只需要登录用户和密码,接下来我们聊聊上面说的传统登录模式。用户在登录的时候并不是只需要登录账户信息,除了常见直观的验证码和CSRF信息外,也有可能需要提交其它信息,我们必须把它们都提取到一起提交给服务器。

python爬虫框架scrapy实现模拟登录操作示例

2、我们在form表单下面找到了一个display:none的div标签,里面的input标签的value值正好是我们要提交的数据,那我们就提取到他。

python爬虫框架scrapy实现模拟登录操作示例

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python 模板引擎的注入问题分析
Jan 01 Python
Python机器学习k-近邻算法(K Nearest Neighbor)实例详解
Jun 25 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 Python
python钉钉机器人运维脚本监控实例
Feb 20 Python
Python Django的安装配置教程图文详解
Jul 17 Python
使用Python的networkx绘制精美网络图教程
Nov 21 Python
python如何使用jt400.jar包代码实例
Dec 20 Python
python logging添加filter教程
Dec 24 Python
pandas数据拼接的实现示例
Apr 16 Python
Python绘制全球疫情变化地图的实例代码
Apr 20 Python
Django中FilePathField字段的用法
May 21 Python
python Xpath语法的使用
Nov 26 Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
Python列表生成式与生成器操作示例
Aug 01 #Python
Python开发最牛逼的IDE——pycharm
Aug 01 #Python
You might like
天使彦史上最神还原,性别曝光的那一刻,百万网友恋爱了
2020/03/02 国漫
PHP 一个比较完善的简单文件上传
2010/03/25 PHP
一个PHP并发访问实例代码
2012/09/06 PHP
php str_replace替换指定次数的方法详解
2017/05/05 PHP
PHP-X系列教程之内置函数的使用示例
2017/10/16 PHP
在laravel框架中实现封装公共方法全局调用
2019/10/14 PHP
laravel model模型定义实现开启自动管理时间created_at,updated_at
2019/10/17 PHP
jquery 1.4.2发布!主要是性能与API
2010/02/25 Javascript
js之onload事件的一点使用心得
2013/08/14 Javascript
node.js Web应用框架Express入门指南
2014/05/28 Javascript
js图片模糊切换显示特效的方法
2015/02/17 Javascript
常见的javascript跨域通信方法
2015/12/31 Javascript
理解JS事件循环
2016/01/07 Javascript
JavaScript File API实现文件上传预览
2016/02/02 Javascript
工作中比较实用的JavaScript验证和数据处理的干货(经典)
2016/08/03 Javascript
webpack配置的最佳实践分享
2017/04/21 Javascript
angular实现图片懒加载实例代码
2017/06/08 Javascript
JavaScript折半查找(二分查找)算法原理与实现方法示例
2018/08/06 Javascript
实例详解Vue项目使用eslint + prettier规范代码风格
2018/08/20 Javascript
基于layui的下拉列表的数据回显方法
2019/09/24 Javascript
如何解决vue在ios微信"复制链接"功能问题
2020/03/26 Javascript
深入了解Python中pop和remove的使用方法
2018/01/09 Python
Python 读写文件的操作代码
2018/09/20 Python
Python初学者常见错误详解
2019/07/02 Python
解决Tensorflow sess.run导致的内存溢出问题
2020/02/05 Python
使用Keras中的ImageDataGenerator进行批次读图方式
2020/06/17 Python
Python 列表反转显示的四种方法
2020/11/16 Python
python开发一个解析protobuf文件的简单编译器
2020/11/17 Python
C++是不是类型安全的
2014/02/18 面试题
软件测试笔试题
2012/10/25 面试题
mysql有关权限的表都有哪几个
2015/04/22 面试题
经典导游欢迎词大全
2014/01/16 职场文书
个人授权委托书
2014/04/03 职场文书
中秋联欢会主持词
2015/07/04 职场文书
《槐乡的孩子》教学反思
2016/02/20 职场文书
python 模拟在天空中放风筝的示例代码
2021/04/21 Python