Python爬虫scrapy框架Cookie池(微博Cookie池)的使用


Posted in Python onJanuary 13, 2021

下载代码Cookie池(这里主要是微博登录,也可以自己配置置其他的站点网址)

下载代码GitHub:https://github.com/Python3WebSpider/CookiesPool

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

下载安装过后注意看网页下面的相关基础配置和操作!!!!!!!!!!!!!

自己的设置主要有下面几步:

1、配置其他设置

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

2、设置使用的浏览器

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

3、设置模拟登陆

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

源码cookies.py的修改(以下两处不修改可能会产生bug)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

 Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

4、获取cookie

随机获取Cookies: http://localhost:5000/weibo/random(注意:cookie使用时是需要后期处理的!!)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

简单的处理方式,如下代码(偶尔需要对获取的cookie处理):

def get_cookie(self):
    return requests.get('http://127.0.0.1:5000/weibo/random').text
 
  def stringToDict(self,cookie):
    itemDict = {}
    items = cookie.replace(':', '=').split(',')
    for item in items:
      key = item.split('=')[0].replace(' ', '').strip(' "')
      value = item.split('=')[1].strip(' "')
      itemDict[key] = value
    return itemDict

scrapy爬虫的使用示例(爬取微博):

middlewares.py中自定义请求中间件

def start_requests(self):
    ua = UserAgent()
    headers = {
      'User-Agent': ua.random,
      }
    cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
 
    yield scrapy.Request(url=self.start_urls[0], headers=headers,
               cookies=cookies, callback=self.parse)
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))

    yield scrapy.Request(url=self.start_urls[0], headers=headers,
               cookies=cookies, callback=self.parse)

settings.py 中的配置:

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

5、录入账号和密码:

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

格式规定(账号----密码)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

6、验证:(注意:使用cmd)

Python爬虫scrapy框架Cookie池(微博Cookie池)的使用

7、使用时注意保持cmd打开运行!!

使用时一定要打开cmd,并运行如第6步。

得到Cookie是判断是否处理处理Cookie(几乎都需要!!)类比第4步!!!

到此这篇关于Python爬虫scrapy框架Cookie池(微博Cookie池)的使用的文章就介绍到这了,更多相关scrapy Cookie池内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python 模板引擎的注入问题分析
Jan 01 Python
python互斥锁、加锁、同步机制、异步通信知识总结
Feb 11 Python
使用python存储网页上的图片实例
May 22 Python
python实现内存监控系统
Mar 07 Python
Python基于OpenCV实现人脸检测并保存
Jul 23 Python
解决Atom安装Hydrogen无法运行python3的问题
Aug 28 Python
python 使用while写猜年龄小游戏过程解析
Oct 07 Python
python opencv根据颜色进行目标检测的方法示例
Jan 15 Python
利用Python pandas对Excel进行合并的方法示例
Nov 04 Python
python各种excel写入方式的速度对比
Nov 10 Python
python对输出的奇数偶数排序实例代码
Dec 04 Python
Django分页器的用法你都了解吗
May 26 Python
matplotlib交互式数据光标实现(mplcursors)
Jan 13 #Python
Python 生成短8位唯一id实战教程
Jan 13 #Python
python uuid生成唯一id或str的最简单案例
Jan 13 #Python
全网最全python库selenium自动化使用详细教程
Jan 12 #Python
[原创]赚疯了!转手立赚800+?大佬的python「抢茅台脚本」使用教程
Jan 12 #Python
五分钟学会怎么用python做一个简单的贪吃蛇
Jan 12 #Python
python生成word合同的实例方法
Jan 12 #Python
You might like
PHP中文汉字验证码
2007/04/08 PHP
destoon整合UCenter图文教程
2014/06/21 PHP
PHP中cookie和session的区别实例分析
2014/08/28 PHP
php获取当前url地址的方法小结
2017/01/10 PHP
javascript中with()方法的语法格式及使用
2014/08/04 Javascript
JS实现的简洁二级导航菜单雏形效果
2015/10/13 Javascript
js生成随机数的过程解析
2015/11/24 Javascript
基于Node.js的强大爬虫 能直接发布抓取的文章哦
2016/01/10 Javascript
Node.js实现文件上传
2016/07/05 Javascript
jQuery的ajax和遍历数组json实例代码
2016/08/01 Javascript
原生javascript实现读写CSS样式的方法详解
2017/02/20 Javascript
详解Vue2中组件间通信的解决全方案
2017/07/28 Javascript
vue组件父子间通信之综合练习(聊天室)
2017/11/07 Javascript
jQuery实现的下雪动画效果示例【附源码下载】
2018/02/02 jQuery
jquery引入外部CDN 加载失败则引入本地jq库
2018/05/23 jQuery
js实现页面多个日期时间倒计时效果
2019/06/20 Javascript
[00:34]DOTA2上海特级锦标赛 Spirit战队宣传片
2016/03/04 DOTA
使用Python3编写抓取网页和只抓网页图片的脚本
2015/08/20 Python
深入解析Python中的list列表及其切片和迭代操作
2016/03/13 Python
详解python多线程、锁、event事件机制的简单使用
2018/04/27 Python
pandas 数据实现行间计算的方法
2018/06/08 Python
Django框架文件上传与自定义图片上传路径、上传文件名操作分析
2019/05/10 Python
pyqt5 comboBox获得下标、文本和事件选中函数的方法
2019/06/14 Python
十分钟搞定pandas(入门教程)
2019/06/21 Python
python实现单链表的方法示例
2019/09/03 Python
在Matplotlib图中插入LaTex公式实例
2020/04/17 Python
牵手50新加坡:专为黄金岁月的单身人士而设的交友网站
2020/08/16 全球购物
计算机求职信
2013/12/01 职场文书
银行员工职业规划范文
2014/01/21 职场文书
学习经验交流会主持词
2014/04/01 职场文书
银行开户授权委托书格式
2014/10/10 职场文书
公司承诺书格式范文
2015/04/28 职场文书
2016年党员公开承诺书格式范文
2016/03/24 职场文书
Java设计模式之享元模式示例详解
2022/03/03 Java/Android
基于Python实现流星雨效果的绘制
2022/03/18 Python
铁头也玩根德 YachtBoy YB-230......
2022/04/05 无线电