Python爬虫scrapy框架Cookie池(微博Cookie池)的使用


Posted in Python onJanuary 13, 2021

下载代码Cookie池(这里主要是微博登录,也可以自己配置置其他的站点网址)

下载代码GitHub:https://github.com/Python3WebSpider/CookiesPool

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

下载安装过后注意看网页下面的相关基础配置和操作!!!!!!!!!!!!!

自己的设置主要有下面几步:

1、配置其他设置

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

2、设置使用的浏览器

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

3、设置模拟登陆

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

源码cookies.py的修改(以下两处不修改可能会产生bug)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

 Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

4、获取cookie

随机获取Cookies: http://localhost:5000/weibo/random(注意:cookie使用时是需要后期处理的!!)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

简单的处理方式,如下代码(偶尔需要对获取的cookie处理):

def get_cookie(self):
    return requests.get('http://127.0.0.1:5000/weibo/random').text
 
  def stringToDict(self,cookie):
    itemDict = {}
    items = cookie.replace(':', '=').split(',')
    for item in items:
      key = item.split('=')[0].replace(' ', '').strip(' "')
      value = item.split('=')[1].strip(' "')
      itemDict[key] = value
    return itemDict

scrapy爬虫的使用示例(爬取微博):

middlewares.py中自定义请求中间件

def start_requests(self):
    ua = UserAgent()
    headers = {
      'User-Agent': ua.random,
      }
    cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
 
    yield scrapy.Request(url=self.start_urls[0], headers=headers,
               cookies=cookies, callback=self.parse)
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))

    yield scrapy.Request(url=self.start_urls[0], headers=headers,
               cookies=cookies, callback=self.parse)

settings.py 中的配置:

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

5、录入账号和密码:

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

格式规定(账号----密码)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

6、验证:(注意:使用cmd)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

7、使用时注意保持cmd打开运行!!

使用时一定要打开cmd,并运行如第6步。

得到Cookie是判断是否处理处理Cookie(几乎都需要!!)类比第4步!!!

到此这篇关于Python爬虫scrapy框架Cookie池(微博Cookie池)的使用的文章就介绍到这了,更多相关scrapy Cookie池内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python操作gmail实例
Jan 14 Python
python爬虫_自动获取seebug的poc实例
Aug 05 Python
Python温度转换实例分析
Jan 17 Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 Python
python merge、concat合并数据集的实例讲解
Apr 12 Python
python 实现判断ip连通性的方法总结
Apr 22 Python
Tensorflow之Saver的用法详解
Apr 23 Python
numpy向空的二维数组中添加元素的方法
Nov 01 Python
python做反被爬保护的方法
Jul 01 Python
Python GUI自动化实现绕过验证码登录
Jan 10 Python
python matplotlib中的subplot函数使用详解
Jan 19 Python
Python如何实现Paramiko的二次封装
Jan 30 Python
matplotlib交互式数据光标实现(mplcursors)
Jan 13 #Python
Python 生成短8位唯一id实战教程
Jan 13 #Python
python uuid生成唯一id或str的最简单案例
Jan 13 #Python
全网最全python库selenium自动化使用详细教程
Jan 12 #Python
[原创]赚疯了!转手立赚800+?大佬的python「抢茅台脚本」使用教程
Jan 12 #Python
五分钟学会怎么用python做一个简单的贪吃蛇
Jan 12 #Python
python生成word合同的实例方法
Jan 12 #Python
You might like
require(),include(),require_once()和include_once()区别
2008/03/27 PHP
php仿discuz分页效果代码
2008/10/02 PHP
PHP更新购物车数量(表单部分/PHP处理部分)
2013/05/03 PHP
PHP中static关键字以及与self关键字的区别
2015/07/01 PHP
PHP使用file_get_content设置头信息的方法
2016/02/14 PHP
Laravel中正确地返回HTTP状态码方法示例
2019/09/10 PHP
JavaScript高级程序设计 DOM学习笔记
2011/09/10 Javascript
jquery插件validate验证的小例子
2013/05/08 Javascript
jquery选择器之内容过滤选择器详解
2014/01/27 Javascript
几种经典排序算法的JS实现方法
2016/03/25 Javascript
Vue监听一个数组id是否与另一个数组id相同的方法
2018/09/26 Javascript
一个因@click.stop引发的bug的解决
2019/01/08 Javascript
element-ui带输入建议的input框踩坑(输入建议空白以及会闪出上一次的输入建议问题)
2019/01/15 Javascript
nodejs各种姿势断点调试的方法
2020/06/18 NodeJs
Js图片点击切换轮播实现代码
2020/07/27 Javascript
vue相同路由跳转强制刷新该路由组件操作
2020/08/05 Javascript
vue循环中点击选中再点击取消(单选)的实现
2020/09/10 Javascript
vue+openlayers绘制省市边界线
2020/12/24 Vue.js
[54:45]2018DOTA2亚洲邀请赛 4.1 小组赛 A组 Optic vs OG
2018/04/02 DOTA
Python判断变量是否已经定义的方法
2014/08/18 Python
Python2.x版本中cmp()方法的使用教程
2015/05/14 Python
自己编程中遇到的Python错误和解决方法汇总整理
2015/06/03 Python
Python字符串特性及常用字符串方法的简单笔记
2016/01/04 Python
Python实现模拟登录网易邮箱的方法示例
2018/07/05 Python
python tools实现视频的每一帧提取并保存
2020/03/20 Python
在Qt5和PyQt5中设置支持高分辨率屏幕自适应的方法
2019/06/18 Python
Python 的字典(Dict)是如何存储的
2019/07/05 Python
Python实现对word文档添加密码去除密码的示例代码
2020/12/29 Python
使用css3 属性如何丰富图片样式(圆角 阴影 渐变)
2012/11/22 HTML / CSS
印度尼西亚最大和最全面的网络商城:Blibli.com
2017/10/04 全球购物
台湾东南旅游社网站:东南旅游
2019/02/11 全球购物
国庆节慰问信
2015/02/15 职场文书
2015年党建工作目标责任书
2015/05/08 职场文书
2015年小学实验室工作总结
2015/07/28 职场文书
python批量创建变量并赋值操作
2021/06/03 Python
golang 实用库gotable的具体使用
2021/07/01 Golang