爬虫代理的cookie如何生成运行


Posted in Python onSeptember 22, 2020

HTTP是用于互联网传输数据信息到本地的一种传送协议

我们在浏览器中输入输入关键词,会返回页面内容。这就是我们用浏览器向网站所在的服务器发送了一个请求,网站的服务器接收到这个请求后进行解析,然后把网页内容呈现出来。

有时候服务器网站会检测IP在一个时间段内的请求次数,如果过于频繁,就会拒绝服务,简称为封IP。

HTTP代理就是用别人的IP进行访问,进行IP伪装。

除非是访问网站或APP专用数据api接口,正常的HTTP请求都需要进行ua(User-Agent)优化,因为ua是浏览器标识,如果http请求没有ua,或ua太少,都会被网站运维统计异常的,ua越丰富分布就越真实。cookie最好是登陆获取的,一般访客的cookie,对方限制会比较严格,可以控制一个地区新访客的访问频率。另外反爬统计的js也要分析下,是不是做了机器人判断,有没有做窗口分辨率判断等。

生成cookie:

import os
import time
import zipfile

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password
def open(self):
    """
    打开网页输入用户名密码并点击
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()

  def password_error(self):
    """
    判断是否密码错误
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用户名或密码错误'))
    except TimeoutException:
      return False

  def get_cookies(self):
    """
    获取Cookies
    :return:
    """
    return self.browser.get_cookies()

运行cookie:

API接口开始运行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成进程开始运行
Cookies检测进程开始运行
正在生成Cookies 账号 180000000 密码 16yun
正在测试Cookies 用户名 180000000
Cookies有效 180000000

如果HTTP请求成功,HTTP的状态码会返回200且返回数据。当然其他HTTP其他状态码也有,403表示禁止访问,504服务器内部出错等等。

以上就是爬虫代理的cookie如何生成运行的详细内容,更多关于爬虫代理 cookie的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python构造函数及解构函数介绍
Feb 26 Python
Python输出PowerPoint(ppt)文件中全部文字信息的方法
Apr 28 Python
pymssql数据库操作MSSQL2005实例分析
May 25 Python
python实现自动登录人人网并采集信息的方法
Jun 28 Python
Python cookbook(数据结构与算法)从字典中提取子集的方法示例
Mar 22 Python
使用Python的turtle模块画国旗
Sep 24 Python
pandas实现将日期转换成timestamp
Dec 07 Python
Python3实现飞机大战游戏
Apr 24 Python
用python进行视频剪辑
Nov 02 Python
python Zmail模块简介与使用示例
Dec 19 Python
用pushplus+python监控亚马逊到货动态推送微信
Jan 29 Python
Python利器openpyxl之操作excel表格
Apr 17 Python
python 如何将office文件转换为PDF
Sep 22 #Python
Python制作一个仿QQ办公版的图形登录界面
Sep 22 #Python
Python使用for生成列表实现过程解析
Sep 22 #Python
python实现发送带附件的邮件代码分享
Sep 22 #Python
使用Python绘制台风轨迹图的示例代码
Sep 21 #Python
利用python绘制中国地图(含省界、河流等)
Sep 21 #Python
python利用google翻译方法实例(翻译字幕文件)
Sep 21 #Python
You might like
用PHP程序实现支持页面后退的两种方法
2008/06/30 PHP
五款PHP代码重构工具推荐
2014/10/14 PHP
php中return的用法实例分析
2015/02/28 PHP
ThinkPHP5.1表单令牌Token失效问题的解决
2019/03/22 PHP
PHP dirname简单使用代码实例
2020/11/13 PHP
jquery HotKeys轻松搞定键盘事件代码
2008/08/30 Javascript
jQuery技巧大放送 学习jquery的朋友可以看下
2009/10/14 Javascript
javascript getElementsByTagName
2011/01/31 Javascript
关于 文本框默认值 的操作js代码
2012/01/12 Javascript
angular中使用路由和$location切换视图
2015/01/23 Javascript
对jquery的ajax进行二次封装以及ajax缓存代理组件:AjaxCache详解
2016/04/11 Javascript
NodeJS连接MongoDB数据库时报错的快速解决方法
2016/05/13 NodeJs
javascript时间戳和日期字符串相互转换代码(超简单)
2016/06/22 Javascript
bootstrap的常用组件和栅格式布局详解
2017/05/02 Javascript
JS基于正则表达式实现的密码强度验证功能示例
2017/09/21 Javascript
详解React开发必不可少的eslint配置
2018/02/05 Javascript
原生JS实现的简单小钟表功能示例
2018/08/30 Javascript
如何在vue里面优雅的解决跨域(路由冲突问题)
2019/01/20 Javascript
layer.js open 隐藏滚动条的例子
2019/09/05 Javascript
JavaScript设计模式之门面模式原理与实现方法分析
2020/03/09 Javascript
Python实现拼接多张图片的方法
2014/12/01 Python
Python制作刷网页流量工具
2017/04/23 Python
Python采集猫眼两万条数据 对《无名之辈》影评进行分析
2018/12/05 Python
Python实现bilibili时间长度查询的示例代码
2020/01/14 Python
python生成13位或16位时间戳以及反向解析时间戳的实例
2020/03/03 Python
TensorFLow 数学运算的示例代码
2020/04/21 Python
idealfit英国:世界领先的女性健身用品和运动衣物品牌
2017/11/25 全球购物
HomeAway的巴西品牌:Alugue Temporada
2018/04/10 全球购物
VisionPros美国站:加拿大在线隐形眼镜和眼镜零售商
2020/02/11 全球购物
新东方旗下远程教育网站:新东方在线
2020/03/19 全球购物
运动会获奖感言
2014/02/11 职场文书
英语一分钟演讲稿
2014/04/29 职场文书
医院搬迁方案
2014/06/14 职场文书
2015年全国保险公众宣传日活动方案
2015/05/06 职场文书
新入职员工工作总结
2015/10/15 职场文书
2016年“七一建党节”广播稿
2015/12/18 职场文书