爬虫代理的cookie如何生成运行


Posted in Python onSeptember 22, 2020

HTTP是用于互联网传输数据信息到本地的一种传送协议

我们在浏览器中输入输入关键词,会返回页面内容。这就是我们用浏览器向网站所在的服务器发送了一个请求,网站的服务器接收到这个请求后进行解析,然后把网页内容呈现出来。

有时候服务器网站会检测IP在一个时间段内的请求次数,如果过于频繁,就会拒绝服务,简称为封IP。

HTTP代理就是用别人的IP进行访问,进行IP伪装。

除非是访问网站或APP专用数据api接口,正常的HTTP请求都需要进行ua(User-Agent)优化,因为ua是浏览器标识,如果http请求没有ua,或ua太少,都会被网站运维统计异常的,ua越丰富分布就越真实。cookie最好是登陆获取的,一般访客的cookie,对方限制会比较严格,可以控制一个地区新访客的访问频率。另外反爬统计的js也要分析下,是不是做了机器人判断,有没有做窗口分辨率判断等。

生成cookie:

import os
import time
import zipfile

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password
def open(self):
    """
    打开网页输入用户名密码并点击
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()

  def password_error(self):
    """
    判断是否密码错误
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用户名或密码错误'))
    except TimeoutException:
      return False

  def get_cookies(self):
    """
    获取Cookies
    :return:
    """
    return self.browser.get_cookies()

运行cookie:

API接口开始运行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成进程开始运行
Cookies检测进程开始运行
正在生成Cookies 账号 180000000 密码 16yun
正在测试Cookies 用户名 180000000
Cookies有效 180000000

如果HTTP请求成功,HTTP的状态码会返回200且返回数据。当然其他HTTP其他状态码也有,403表示禁止访问,504服务器内部出错等等。

以上就是爬虫代理的cookie如何生成运行的详细内容,更多关于爬虫代理 cookie的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现PS滤镜的万花筒效果示例
Jan 23 Python
TensorFlow平台下Python实现神经网络
Mar 10 Python
Python文件打开方式实例详解【a、a+、r+、w+区别】
Mar 30 Python
详解Python中的各种转义符\n\r\t
Jul 10 Python
Django Form 实时从数据库中获取数据的操作方法
Jul 25 Python
翻转数列python实现,求前n项和,并能输出整个数列的案例
May 03 Python
Python接口测试文件上传实例解析
May 22 Python
Win10下配置tensorflow-gpu的详细教程(无VS2015/2017)
Jul 14 Python
Python同时迭代多个序列的方法
Jul 28 Python
Python爬虫爬取微信朋友圈
Aug 06 Python
Python趣味实战之手把手教你实现举牌小人生成器
Jun 07 Python
Pygame Event事件模块的详细示例
Nov 17 Python
python 如何将office文件转换为PDF
Sep 22 #Python
Python制作一个仿QQ办公版的图形登录界面
Sep 22 #Python
Python使用for生成列表实现过程解析
Sep 22 #Python
python实现发送带附件的邮件代码分享
Sep 22 #Python
使用Python绘制台风轨迹图的示例代码
Sep 21 #Python
利用python绘制中国地图(含省界、河流等)
Sep 21 #Python
python利用google翻译方法实例(翻译字幕文件)
Sep 21 #Python
You might like
PHP fopen()和 file_get_contents()应用与差异介绍
2014/03/19 PHP
PHP.vs.JAVA
2016/04/29 PHP
取选中的radio的值
2010/01/11 Javascript
Jquery Autocomplete 结合asp.net使用要点
2010/10/29 Javascript
Js 代码中,ajax请求地址后加随机数防止浏览器缓存的原因
2013/05/07 Javascript
JavaScript中this的使用详解
2013/11/08 Javascript
node.js Web应用框架Express入门指南
2014/05/28 Javascript
javascript面向对象之共享成员属性与方法及prototype关键字用法
2015/01/13 Javascript
javascript拖拽应用实例(二)
2016/03/25 Javascript
纯js实现手风琴效果代码
2020/04/17 Javascript
使用Vue 实现滑动验证码功能
2019/06/27 Javascript
js实现图片实时时钟
2020/01/15 Javascript
解决vue watch数据的方法被调用了两次的问题
2020/11/07 Javascript
[39:02]DOTA2亚洲邀请赛 3.31 小组赛 B组 Mineski vs VGJ.T
2018/04/01 DOTA
Python cx_freeze打包工具处理问题思路及解决办法
2016/02/13 Python
python3写爬取B站视频弹幕功能
2017/12/22 Python
python PyTorch预训练示例
2018/02/11 Python
Django框架序列化与反序列化操作详解
2019/11/01 Python
python自动化测试之异常及日志操作实例分析
2019/11/09 Python
tensorflow实现从.ckpt文件中读取任意变量
2020/05/26 Python
Python列表嵌套常见坑点及解决方案
2020/09/30 Python
image-set实现Retina屏幕下图片显示详细介绍
2012/12/24 HTML / CSS
HTML5 WebGL 实现民航客机飞行监控系统
2019/07/25 HTML / CSS
htnl5利用svg页面高斯模糊的方法
2018/07/20 HTML / CSS
GetYourGuide台湾:预订旅游活动、景点和旅游项目
2019/06/10 全球购物
白酒业务员岗位职责
2013/12/27 职场文书
澳大利亚商务邀请函
2014/01/17 职场文书
党员服务承诺书
2014/05/28 职场文书
2014党员自我评议表范文
2014/09/20 职场文书
党员民主评议个人总结
2014/10/20 职场文书
留学推荐信中文范文
2015/03/26 职场文书
安全生产协议书
2016/03/22 职场文书
js之ajax文件上传
2021/05/13 Javascript
tp5使用layui实现多个图片上传(带附件选择)的方法实例
2021/11/17 PHP
关于EntityWrapper的in用法
2022/03/22 Java/Android
《宝可梦》动画制作25周年到来 官方发布特别纪念视频
2022/04/01 日漫