python爬虫框架scrapy实现模拟登录操作示例


Posted in Python onAugust 02, 2018

本文实例讲述了python爬虫框架scrapy实现模拟登录操作。分享给大家供大家参考,具体如下:

一、背景:

初来乍到的pythoner,刚开始的时候觉得所有的网站无非就是分析HTML、json数据,但是忽略了很多的一个问题,有很多的网站为了反爬虫,除了需要高可用代理IP地址池外,还需要登录。例如知乎,很多信息都是需要登录以后才能爬取,但是频繁登录后就会出现验证码(有些网站直接就让你输入验证码),这就坑了,毕竟运维同学很辛苦,该反的还得反,那我们怎么办呢?这不说验证码的事儿,你可以自己手动输入验证,或者直接用云打码平台,这里我们介绍一个scrapy的登录用法。

 测试登录地址:http://example.webscraping.com/places/default/user/login

 测试主页:http://example.webscraping.com/user/profile

1、这里不在叙述如何创建scrapy项目和spider,可以看前面的相关文章

二、快速登录方法

我们在这里做了一个简单的介绍,我们都知道scrapy的基本请求流程是start_request方法遍历start_urls列表,然后make_requests_from_url方法,里面执行Request方法,请求start_urls里面的地址,但是这里我们用的不再是GET方法,而用的是POST方法,也就常说的登录。

1、首先我们改写start_reqeusts方法,直接GET登录页面的HTML信息(有些人说你不是POST登录么,干嘛还GET,别着急,你得先GET到登录页面的登录信息,才知道登录的账户、密码等怎么提交,往哪里提交)

2、start_request方法GET到数据后,用callback参数,执行拿到response后要接下来执行哪个方法,然后在login方法里面写入登录用户名和密码(还是老样子,一定要用dict),然后只用Request子类scrapy.FormRequest这个方法提交数据,这我一个的是FormRequest.from_response方法。

有些人会问,这个from__response的基本使用是条用是需要传入一个response对象作为第一个参数,这个方法会从页面中form表单中,帮助用户创建FormRequest对象,最最最最重要的是它会帮你把隐藏的input标签中的信息自动跳入表达,使用这个中方法,我们直接写用户名和密码即可,我们在最后面再介绍传统方法。

3、parse_login方法是提交完表单后callback回调函数指定要执行的方法,为了验证是否成功。这里我们直接在response中搜索Welcome Liu这个字眼就证明登录成功。这个好理解,重点是yield  from super().start_resquests(),这个代表着如果一旦登录成功后,就直接带着登录成功后Cookie值,方法start_urls里面的地址。这样的话登录成功后的response可以直接在parse里面写。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
  name = "login_"
  allowed_domains = ["example.webscraping.com"]
  start_urls = ['http://example.webscraping.com/user/profile']
  login_url = 'http://example.webscraping.com/places/default/user/login'
  def parse(self, response):
    print(response.text)
  def start_requests(self):
    yield scrapy.Request(self.login_url,callback=self.login)
  def login(self,response):
    formdata = {
      'email':'liushuo@webscraping.com','password':'12345678'}
    yield FormRequest.from_response(response,formdata=formdata,
                    callback=self.parse_login)
  def parse_login(self,response):
    # print('>>>>>>>>'+response.text)
    if 'Welcome Liu' in response.text:
      yield from super().start_requests()

有的同学可能问了,login方法里面不是应该写reture 么,其实上面的写法跟下面的这种写法是一样效果,如果再有个CSRF的话,也可以直接在login里面写拿到CSRF信息,写入到formdata里面跟用户名和密码一起提交。

return [FormRequest.from_response(response,formdata=formdata,callback=self.parse_login)]

登录成功

python爬虫框架scrapy实现模拟登录操作示例

三、传统登录方法:

1、首先要明确一件事情,一般情况下需要登录的网站,不只需要登录用户和密码,接下来我们聊聊上面说的传统登录模式。用户在登录的时候并不是只需要登录账户信息,除了常见直观的验证码和CSRF信息外,也有可能需要提交其它信息,我们必须把它们都提取到一起提交给服务器。

python爬虫框架scrapy实现模拟登录操作示例

2、我们在form表单下面找到了一个display:none的div标签,里面的input标签的value值正好是我们要提交的数据,那我们就提取到他。

python爬虫框架scrapy实现模拟登录操作示例

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python struct模块解析
Jun 12 Python
python实现用户登陆邮件通知的方法
Jul 09 Python
python实现12306抢票及自动邮件发送提醒付款功能
Mar 08 Python
Python贪心算法实例小结
Apr 22 Python
利用django-suit模板添加自定义的菜单、页面及设置访问权限
Jul 13 Python
Python3内置模块pprint让打印比print更美观详解
Jun 02 Python
Pandas之Fillna填充缺失数据的方法
Jun 25 Python
使用Django实现把两个模型类的数据聚合在一起
Mar 28 Python
使用Python合成图片的实现代码(图片添加个性化文本,图片上叠加其他图片)
Apr 30 Python
浅析Python __name__ 是什么
Jul 07 Python
Django模板报TemplateDoesNotExist异常(亲测可行)
Dec 18 Python
python实现经典排序算法的示例代码
Feb 07 Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
Python列表生成式与生成器操作示例
Aug 01 #Python
Python开发最牛逼的IDE——pycharm
Aug 01 #Python
You might like
php中文字符截取防乱码
2008/03/28 PHP
Linux中为php配置伪静态
2014/12/17 PHP
Windows下wamp php单元测试工具PHPUnit安装及生成日志文件配置方法
2018/05/28 PHP
JS之小练习代码
2008/10/12 Javascript
javascript使用中为什么10..toString()正常而10.toString()出错呢
2013/01/11 Javascript
6款经典实用的jQuery小插件及源码(对话框/提示工具等等)
2013/02/04 Javascript
jquery对元素拖动排序示例
2014/01/16 Javascript
整理关于Bootstrap模态弹出框的慕课笔记
2017/03/29 Javascript
利用node.js制作命令行工具方法教程(一)
2017/06/22 Javascript
详解vue组件通信的三种方式
2017/06/30 Javascript
基于JS脚本语言的基础语法详解
2017/07/22 Javascript
Nodejs中怎么实现函数的串行执行
2019/03/02 NodeJs
javascript防抖函数debounce详解
2019/06/11 Javascript
layui 关闭open弹出框 刷新table表格页面的方法
2019/09/16 Javascript
JavaScript或jQuery 获取option value值方法解析
2020/05/12 jQuery
使用JavaScript通过前端发送电子邮件
2020/05/22 Javascript
javascript实现页面的实时时钟显示示例
2020/08/06 Javascript
vue 使用post/get 下载导出文件操作
2020/08/07 Javascript
Vue+Bootstrap收藏(点赞)功能逻辑与具体实现
2020/10/22 Javascript
[01:46]辉夜杯—打造中国DOTA新格局
2015/12/25 DOTA
Python标准库之多进程(multiprocessing包)介绍
2014/11/25 Python
Python操作Excel之xlsx文件
2017/03/24 Python
pandas 获取季度,月度,年度首尾日期的方法
2018/04/11 Python
Python Flask前后端Ajax交互的方法示例
2018/07/31 Python
python3 字符串知识点学习笔记
2020/02/08 Python
Python打包工具PyInstaller的安装与pycharm配置支持PyInstaller详细方法
2020/02/27 Python
浅谈Python爬虫原理与数据抓取
2020/07/21 Python
python打包生成so文件的实现
2020/10/30 Python
关于Python错误重试方法总结
2021/01/03 Python
美国顶级水上运动专业店:Marine Products
2018/04/15 全球购物
转让协议书范本
2014/04/15 职场文书
审计班子对照检查材料
2014/08/27 职场文书
离婚起诉书范文2015
2015/05/19 职场文书
个人售房合同协议书
2016/03/21 职场文书
2019个人年度目标制定攻略!
2019/07/12 职场文书
MySQL令人咋舌的隐式转换
2021/04/05 MySQL