爬虫代理的cookie如何生成运行


Posted in Python onSeptember 22, 2020

HTTP是用于互联网传输数据信息到本地的一种传送协议

我们在浏览器中输入输入关键词,会返回页面内容。这就是我们用浏览器向网站所在的服务器发送了一个请求,网站的服务器接收到这个请求后进行解析,然后把网页内容呈现出来。

有时候服务器网站会检测IP在一个时间段内的请求次数,如果过于频繁,就会拒绝服务,简称为封IP。

HTTP代理就是用别人的IP进行访问,进行IP伪装。

除非是访问网站或APP专用数据api接口,正常的HTTP请求都需要进行ua(User-Agent)优化,因为ua是浏览器标识,如果http请求没有ua,或ua太少,都会被网站运维统计异常的,ua越丰富分布就越真实。cookie最好是登陆获取的,一般访客的cookie,对方限制会比较严格,可以控制一个地区新访客的访问频率。另外反爬统计的js也要分析下,是不是做了机器人判断,有没有做窗口分辨率判断等。

生成cookie:

import os
import time
import zipfile

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password
def open(self):
    """
    打开网页输入用户名密码并点击
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()

  def password_error(self):
    """
    判断是否密码错误
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用户名或密码错误'))
    except TimeoutException:
      return False

  def get_cookies(self):
    """
    获取Cookies
    :return:
    """
    return self.browser.get_cookies()

运行cookie:

API接口开始运行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成进程开始运行
Cookies检测进程开始运行
正在生成Cookies 账号 180000000 密码 16yun
正在测试Cookies 用户名 180000000
Cookies有效 180000000

如果HTTP请求成功,HTTP的状态码会返回200且返回数据。当然其他HTTP其他状态码也有,403表示禁止访问,504服务器内部出错等等。

以上就是爬虫代理的cookie如何生成运行的详细内容,更多关于爬虫代理 cookie的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python 返回汉字的汉语拼音
Feb 27 Python
python通过ftplib登录到ftp服务器的方法
May 08 Python
python实现爬虫统计学校BBS男女比例之多线程爬虫(二)
Dec 31 Python
Python max内置函数详细介绍
Nov 17 Python
详解Python各大聊天系统的屏蔽脏话功能原理
Dec 01 Python
python 画三维图像 曲面图和散点图的示例
Dec 29 Python
Python eval的常见错误封装及利用原理详解
Mar 26 Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 Python
Django 5种类型Session使用方法解析
Apr 29 Python
python生成word合同的实例方法
Jan 12 Python
Python使用openpyxl复制整张sheet
Mar 24 Python
PyTorch 实现L2正则化以及Dropout的操作
May 27 Python
python 如何将office文件转换为PDF
Sep 22 #Python
Python制作一个仿QQ办公版的图形登录界面
Sep 22 #Python
Python使用for生成列表实现过程解析
Sep 22 #Python
python实现发送带附件的邮件代码分享
Sep 22 #Python
使用Python绘制台风轨迹图的示例代码
Sep 21 #Python
利用python绘制中国地图(含省界、河流等)
Sep 21 #Python
python利用google翻译方法实例(翻译字幕文件)
Sep 21 #Python
You might like
PHP Document 代码注释规范
2009/04/13 PHP
Ajax PHP 边学边练 之三 数据库
2009/11/26 PHP
PHP计算2点经纬度之间的距离代码
2013/08/12 PHP
php中使用session防止用户非法登录后台的方法
2015/01/27 PHP
php获取Google机器人访问足迹的方法
2015/04/15 PHP
使用php实现从身份证中提取生日
2016/05/09 PHP
微信公众号模板消息群发php代码示例
2016/12/29 PHP
php中str_pad()函数用法分析
2017/03/28 PHP
PHP创建XML接口示例
2019/07/04 PHP
Knockout数组(observable)使用详解示例
2013/11/15 Javascript
Jquery图片延迟加载插件jquery.lazyload.js的使用方法
2014/05/21 Javascript
ext前台接收action传过来的json数据示例
2014/06/17 Javascript
jquery常用操作小结
2014/07/21 Javascript
js日期范围初始化得到前一个月日期的方法
2015/05/05 Javascript
前端学习笔记style,currentStyle,getComputedStyle的用法与区别
2016/05/28 Javascript
由浅入深剖析Angular表单验证
2016/07/14 Javascript
JS克隆,属性,数组,对象,函数实例分析
2016/11/26 Javascript
微信小程序 form组件详解及简单实例
2017/01/10 Javascript
浅谈$_FILES数组为空的原因
2017/02/16 Javascript
Webpack实现按需打包Lodash的几种方法详解
2017/05/08 Javascript
微信小程序上传图片功能(附后端代码)
2020/06/19 Javascript
mock.js实现模拟生成假数据功能示例
2019/01/15 Javascript
vuex根据不同的用户权限展示不同的路由列表功能
2019/09/20 Javascript
javascript实现京东快递单号的查询效果
2020/11/30 Javascript
[04:59]DOTA2-DPC中国联赛 正赛 Ehome vs iG 选手采访
2021/03/11 DOTA
Python使用Pandas对csv文件进行数据处理的方法
2019/08/01 Python
使用Django搭建web服务器的例子(最最正确的方式)
2019/08/29 Python
Pytorch 实现sobel算子的卷积操作详解
2020/01/10 Python
Python socket连接中的粘包、精确传输问题实例分析
2020/03/24 Python
Python接口测试文件上传实例解析
2020/05/22 Python
python实现经纬度采样的示例代码
2020/12/10 Python
新年爱情寄语
2014/04/08 职场文书
摄影专业毕业生求职信
2014/08/05 职场文书
2015年党员公开承诺书范文
2015/01/22 职场文书
医德医风自我评价2015
2015/03/03 职场文书
Python自然语言处理之切分算法详解
2021/04/25 Python