python requests更换代理适用于IP频率限制的方法


Posted in Python onAugust 21, 2019

有些网址具有IP限制,比如同一个IP一天只能点赞一次。

python requests更换代理适用于IP频率限制的方法

解决方法就是更换代理IP。

从哪里获得成千上万的IP呢? 百度“http代理” 可获得一大堆网站。

比如某代理网站,1天6元,可以无限提取。

python requests更换代理适用于IP频率限制的方法

把提取的IP,保存到txt文件中。

python requests更换代理适用于IP频率限制的方法

写一个方法,读取文件,存入数组中

def getProxysFromFile():
 with open("proxy.txt", "r") as f:
  l = f.readlines()
 return l

比如执行某任务,传入单个代理IP+PORT

def run(proxy):
 
 try:
  print("proxy:{}".format(proxy))
  s=requests.Session()
  proxies={
  "http": "http://{}".format(proxy.strip()), "https":"https://{}".format(proxy.strip())
  }
  header={
   "Host":"www.xxx.com",
   "Referer":"http://www.xxx.com/xxx.html?199",
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
 
  }
  ret=s.get(url="http://www.xxx.com/data/dz?uid=199&ztype=1",headers=header,proxies=proxies,timeout=4)
  rc=ret.content.decode("utf-8")
  print(rc)
  if "成功" in rc:
   global count
   count+=1
   print(count)
 except:
  pass

接下来就是调度,简单写了个调度,比如每隔5秒钟,启动100个线程去执行。(这里为了简单,在上面的run中设置了超时时间为4秒,所以能保证不会导致启动的线程太多未完成卡死)

if __name__ == '__main__':
 count=1
 l=getProxysFromFile()
 while True:
  for i in range(100):
   try:
    t=threading.Thread(target=run,args=(l.pop(),))
    t.start()
   except:
    pass
  time.sleep(5)

效果如下,速度还是很快的。

python requests更换代理适用于IP频率限制的方法

以上这篇python requests更换代理适用于IP频率限制的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实例一个类背后发生了什么
Feb 09 Python
深入理解Python中装饰器的用法
Jun 28 Python
python函数中return后的语句一定不会执行吗?
Jul 06 Python
Python操作mongodb数据库进行模糊查询操作示例
Jun 09 Python
在python中只选取列表中某一纵列的方法
Nov 28 Python
详解Python3中ceil()函数用法
Feb 19 Python
详解python中的time和datetime的常用方法
Jul 08 Python
Tensorflow实现酸奶销量预测分析
Jul 19 Python
tensorflow多维张量计算实例
Feb 11 Python
Python日志syslog使用原理详解
Feb 18 Python
python 深度学习中的4种激活函数
Sep 18 Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 Python
docker django无法访问redis容器的解决方法
Aug 21 #Python
django和vue实现数据交互的方法
Aug 21 #Python
python防止随意修改类属性的实现方法
Aug 21 #Python
python进阶之自定义可迭代的类
Aug 20 #Python
关于阿里云oss获取sts凭证 app直传 python的实例
Aug 20 #Python
django中使用POST方法获取POST数据
Aug 20 #Python
python实现猜拳小游戏
Apr 05 #Python
You might like
NO3第三帝国留言簿制作过程
2006/10/09 PHP
PHP版自动生成文章摘要
2008/07/23 PHP
php 数据库字段复用的基本原理与示例
2011/07/22 PHP
php字符串分割函数explode的实例代码
2013/02/07 PHP
php中用加号与用array_merge合并数组的区别深入分析
2013/06/03 PHP
php单态设计模式(单例模式)实例
2014/11/18 PHP
thinkphp3.x自定义Action、Model及View的简单实现方法
2016/05/19 PHP
PHP中类的继承和用法实例分析
2016/05/24 PHP
关于php unset对json_encode的影响详解
2018/11/14 PHP
PHP7 字符串处理机制修改
2021/03/09 PHP
JS实现单行文字不间断向上滚动的方法
2015/01/29 Javascript
js计算德州扑克牌面值的方法
2015/03/04 Javascript
AngularJS内建服务$location及其功能详解
2016/07/01 Javascript
根据Bootstrap Paginator改写的js分页插件
2016/12/25 Javascript
收藏AngularJS中最重要的核心功能
2017/07/09 Javascript
一步步教你利用Canvas对图片进行处理
2017/09/19 Javascript
jQuery插件实现的日历功能示例【附源码下载】
2018/09/07 jQuery
vue实现循环切换动画
2018/10/17 Javascript
React如何解决fetch跨域请求时session失效问题
2018/11/02 Javascript
webpack中如何加载静态文件的方法步骤
2019/05/18 Javascript
基于vue-draggable 实现三级拖动排序效果
2020/01/10 Javascript
[45:38]DOTA2上海特级锦标赛主赛事日 - 1 胜者组第一轮#1Liquid VS Alliance第一局
2016/03/02 DOTA
python进阶教程之循环对象
2014/08/30 Python
仅用500行Python代码实现一个英文解析器的教程
2015/04/02 Python
PyQt5 控件字体样式等设置的实现
2020/05/13 Python
基于html5 canvas做批改作业的小插件
2020/05/20 HTML / CSS
SmartBuyGlasses丹麦:网上购买名牌太阳镜、眼镜和隐形眼镜
2016/10/01 全球购物
linux面试题参考答案(5)
2016/11/05 面试题
新郎新娘婚礼答谢词
2014/01/11 职场文书
境外导游求职信
2014/02/27 职场文书
建筑工地质量标语
2014/06/12 职场文书
四风问题个人自查剖析材料思想汇报
2014/09/21 职场文书
公安机关查摆剖析材料
2014/10/10 职场文书
2015年售票员工作总结
2015/04/29 职场文书
长辈生日祝福语大全(72句)
2019/08/09 职场文书
nginx从安装到配置详细说明(安装,安全配置,防盗链,动静分离,配置 HTTPS,性能优化)
2022/02/12 Servers