python requests更换代理适用于IP频率限制的方法


Posted in Python onAugust 21, 2019

有些网址具有IP限制,比如同一个IP一天只能点赞一次。

python requests更换代理适用于IP频率限制的方法

解决方法就是更换代理IP。

从哪里获得成千上万的IP呢? 百度“http代理” 可获得一大堆网站。

比如某代理网站,1天6元,可以无限提取。

python requests更换代理适用于IP频率限制的方法

把提取的IP,保存到txt文件中。

python requests更换代理适用于IP频率限制的方法

写一个方法,读取文件,存入数组中

def getProxysFromFile():
 with open("proxy.txt", "r") as f:
  l = f.readlines()
 return l

比如执行某任务,传入单个代理IP+PORT

def run(proxy):
 
 try:
  print("proxy:{}".format(proxy))
  s=requests.Session()
  proxies={
  "http": "http://{}".format(proxy.strip()), "https":"https://{}".format(proxy.strip())
  }
  header={
   "Host":"www.xxx.com",
   "Referer":"http://www.xxx.com/xxx.html?199",
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
 
  }
  ret=s.get(url="http://www.xxx.com/data/dz?uid=199&ztype=1",headers=header,proxies=proxies,timeout=4)
  rc=ret.content.decode("utf-8")
  print(rc)
  if "成功" in rc:
   global count
   count+=1
   print(count)
 except:
  pass

接下来就是调度,简单写了个调度,比如每隔5秒钟,启动100个线程去执行。(这里为了简单,在上面的run中设置了超时时间为4秒,所以能保证不会导致启动的线程太多未完成卡死)

if __name__ == '__main__':
 count=1
 l=getProxysFromFile()
 while True:
  for i in range(100):
   try:
    t=threading.Thread(target=run,args=(l.pop(),))
    t.start()
   except:
    pass
  time.sleep(5)

效果如下,速度还是很快的。

python requests更换代理适用于IP频率限制的方法

以上这篇python requests更换代理适用于IP频率限制的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用Flask、MongoDB搭建简易图片服务器
Feb 04 Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 Python
python实现从文件中读取数据并绘制成 x y 轴图形的方法
Oct 14 Python
python 递归深度优先搜索与广度优先搜索算法模拟实现
Oct 22 Python
python实现简单颜色识别程序
Feb 19 Python
Python try except异常捕获机制原理解析
Apr 18 Python
Python退出时强制运行一段代码的实现方法
Apr 29 Python
Python生成随机验证码代码实例解析
Jun 09 Python
Django之腾讯云短信的实现
Jun 12 Python
Python 程序报错崩溃后如何倒回到崩溃的位置(推荐)
Jun 23 Python
python与js主要区别点总结
Sep 13 Python
Python tempfile模块生成临时文件和临时目录
Sep 30 Python
docker django无法访问redis容器的解决方法
Aug 21 #Python
django和vue实现数据交互的方法
Aug 21 #Python
python防止随意修改类属性的实现方法
Aug 21 #Python
python进阶之自定义可迭代的类
Aug 20 #Python
关于阿里云oss获取sts凭证 app直传 python的实例
Aug 20 #Python
django中使用POST方法获取POST数据
Aug 20 #Python
python实现猜拳小游戏
Apr 05 #Python
You might like
PHP脚本数据库功能详解(下)
2006/10/09 PHP
安装APACHE
2007/01/15 PHP
优化PHP代码的53条建议
2008/03/27 PHP
PHP mb_convert_encoding 获取字符串编码类型实现代码
2009/04/26 PHP
PHP数据库操作Helper类完整实例
2016/05/11 PHP
php结合ajax实现手机发红包的案例
2016/10/13 PHP
php 魔术常量详解及实例代码
2016/12/04 PHP
网页加载时页面显示进度条加载完成之后显示网页内容
2012/12/23 Javascript
JavaScript中SetInterval与setTimeout的用法详解
2015/11/10 Javascript
Bootstrap每天必学之前端开发框架
2015/11/19 Javascript
全面解析Bootstrap表单使用方法(表单控件状态)
2015/11/24 Javascript
微信小程序 数据封装,参数传值等经验分享
2017/01/09 Javascript
Javascript 严格模式use strict详解
2017/09/16 Javascript
vue实现自定义多选与单选的答题功能
2018/07/05 Javascript
在vue项目中使用Jquery-contextmenu插件的步骤讲解
2019/01/27 jQuery
Vue 基于 vuedraggable 实现选中、拖拽、排序效果
2020/05/18 Javascript
vue 监听窗口变化对页面部分元素重新渲染操作
2020/07/28 Javascript
[44:26]DOTA2上海特级锦标赛主赛事日 - 2 胜者组第一轮#4EG VS Fnatic第二局
2016/03/03 DOTA
Python中使用第三方库xlrd来写入Excel文件示例
2015/04/05 Python
利用Python获取赶集网招聘信息前篇
2016/04/18 Python
梯度下降法介绍及利用Python实现的方法示例
2017/07/12 Python
Python多重继承的方法解析执行顺序实例分析
2018/05/26 Python
详解Python 协程的详细用法使用和例子
2018/06/15 Python
使用Python制作一个打字训练小工具
2019/10/01 Python
Python使用enumerate获取迭代元素下标
2020/02/03 Python
python deque模块简单使用代码实例
2020/03/12 Python
基于Python-Pycharm实现的猴子摘桃小游戏(源代码)
2021/02/20 Python
书香校园活动方案
2014/02/28 职场文书
竞选班干部演讲稿
2014/04/24 职场文书
教师作风整顿个人剖析材料
2014/10/10 职场文书
党的群众路线教育实践活动整改落实情况自查报告
2014/10/28 职场文书
2014年保洁员工作总结
2014/11/19 职场文书
2014年司法局工作总结
2014/12/11 职场文书
三八红旗手事迹材料
2014/12/26 职场文书
物资采购管理制度
2015/08/06 职场文书
Spring Boot 实现敏感词及特殊字符过滤处理
2021/06/29 Java/Android