Python3爬虫里关于Splash负载均衡配置详解


Posted in Python onJuly 10, 2020

用Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splash服务的压力。

1. 配置Splash服务

要搭建Splash负载均衡,首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务,它们的服务地址分别为41.159.27.223:8050、41.159.27.221:8050、41.159.27.9:8050和41.159.117.119:8050,这4个服务完全一致,都是通过Docker的Splash镜像开启的。访问其中任何一个服务时,都可以使用Splash服务。

2. 配置负载均衡

接下来,可以选用任意一台带有公网IP的主机来配置负载均衡。首先,在这台主机上装好Nginx,然后修改Nginx的配置文件nginx.conf,添加如下内容:

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
        }
    }
}

这样我们通过upstream字段定义了一个名字叫作splash的服务集群配置。其中least_conn代表最少链接负载均衡,它适合处理请求处理时间长短不一造成服务器过载的情况。

当然,我们也可以不指定配置,具体如下:

upstream splash {
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

这样默认以轮询策略实现负载均衡,每个服务器的压力相同。此策略适合服务器配置相当、无状态且短平快的服务使用。

另外,我们还可以指定权重,配置如下:

upstream splash {
    server 41.159.27.223:8050 weight=4;
    server 41.159.27.221:8050 weight=2;
    server 41.159.27.9:8050 weight=2;
    server 41.159.117.119:8050 weight=1;
}

这里weight参数指定各个服务的权重,权重越高,分配到处理的请求越多。假如不同的服务器配置差别比较大的话,可以使用此种配置。

最后,还有一种IP散列负载均衡,配置如下:

upstream splash {
    ip_hash;
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

服务器根据请求客户端的IP地址进行散列计算,确保使用同一个服务器响应请求,这种策略适合有状态的服务,比如用户登录后访问某个页面的情形。对于Splash来说,不需要应用此设置。

我们可以根据不同的情形选用不同的配置,配置完成后重启一下Nginx服务:

sudo nginx -s reload

这样直接访问Nginx所在服务器的8050端口,即可实现负载均衡了。

3. 配置认证

现在Splash是可以公开访问的,如果不想让其公开访问,还可以配置认证,这仍然借助于Nginx。可以在server的location字段中添加auth_basic和auth_basic_user_file字段,具体配置如下:

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
            auth_basic "Restricted";
            auth_basic_user_file /etc/nginx/conf.d/.htpasswd;
        }
    }
}

这里使用的用户名和密码配置放置在/etc/nginx/conf.d目录下,我们需要使用htpasswd命令创建。例如,创建一个用户名为admin的文件,相关命令如下:

htpasswd -c .htpasswd admin

接下来就会提示我们输入密码,输入两次之后,就会生成密码文件,其内容如下:

cat .htpasswd 
admin:5ZBxQr0rCqwbc

配置完成后,重启一下Nginx服务:

sudo nginx -s reload

这样访问认证就成功配置好了。

4. 测试

最后,我们可以用代码来测试一下负载均衡的配置,看看到底是不是每次请求会切换IP。利用http://httpbin.org/get测试即可,实现代码如下:

import requests
from urllib.parse import quote
import re
lua = '''
function main(splash, args)
  local treat = require("treat")
  local response = splash:http_get("http://httpbin.org/get")
  return treat.as_string(response.body)
end
'''
url = 'http://splash:8050/execute?lua_source=' + quote(lua)
response = requests.get(url, auth=('admin', 'admin'))
ip = re.search('(\d+\.\d+\.\d+\.\d+)', response.text).group(1)
print(ip)

这里URL中的splash字符串请自行替换成自己的Nginx服务器IP。这里我修改了Hosts,设置了splash为Nginx服务器IP。

多次运行代码之后,可以发现每次请求的IP都会变化,比如第一次的结果:

41.159.27.223

第二次的结果:

41.159.27.9

这就说明负载均衡已经成功实现了。

本节中,我们成功实现了负载均衡的配置。配置负载均衡后,可以多个Splash服务共同合作,减轻单个服务的负载,这还是比较有用的。

到此这篇关于Python3爬虫里关于Splash负载均衡配置详解的文章就介绍到这了,更多相关Python3 Splash负载均衡配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Python神器对付12306变态验证码
Jan 05 Python
Pyqt实现无边框窗口拖动以及窗口大小改变
Apr 19 Python
pytorch cnn 识别手写的字实现自建图片数据
May 20 Python
详解python单元测试框架unittest
Jul 02 Python
详解Python3注释知识点
Feb 19 Python
python numpy实现文件存取的示例代码
May 26 Python
给我一面国旗 python帮你实现
Sep 30 Python
pycharm运行程序时看不到任何结果显示的解决
Feb 21 Python
Pyecharts地图显示不完成问题解决方案
May 11 Python
Python Scrapy多页数据爬取实现过程解析
Jun 12 Python
python 使用多线程创建一个Buffer缓存器的实现思路
Jul 02 Python
python基本算法之实现归并排序(Merge sort)
Sep 01 Python
python3爬虫中异步协程的用法
Jul 10 #Python
浅析Python面向对象编程
Jul 10 #Python
Python爬虫小例子——爬取51job发布的工作职位
Jul 10 #Python
Python 如何对文件目录操作
Jul 10 #Python
Python下划线5种含义代码实例解析
Jul 10 #Python
Python 没有main函数的原因
Jul 10 #Python
如何教少儿学习Python编程
Jul 10 #Python
You might like
PHP 字符串编码截取函数(兼容utf-8和gb2312)
2009/05/02 PHP
PHP快速生成各种信息提示框的方法
2016/02/03 PHP
PHP表单验证内容是否为空的实现代码
2016/11/14 PHP
php数值计算num类简单操作示例
2020/05/15 PHP
javascript编程起步(第五课)
2007/02/27 Javascript
jQuery库与其他JS库冲突的解决办法
2010/02/07 Javascript
Jquery从头学起第四讲 jquery入门教程
2010/08/01 Javascript
红米手机抢购的js代码
2014/03/10 Javascript
jQuery实现图像旋转动画效果
2016/05/29 Javascript
javascript js 操作数组 增删改查的简单实现
2016/06/20 Javascript
jQuery Easyui学习教程之实现datagrid在没有数据时显示相关提示内容
2016/07/09 Javascript
JavaScript职责链模式概述
2016/09/17 Javascript
微信js-sdk上传与下载图片接口用法示例
2016/10/12 Javascript
bootstrap datetimepicker日期插件使用方法
2017/01/13 Javascript
浅谈node的事件机制
2017/10/09 Javascript
为输入框加入数字js校验代码分享
2017/11/02 Javascript
详解NODEJS的http实现
2018/01/04 NodeJs
微信小程序自定义对话框弹出和隐藏动画
2018/07/19 Javascript
[37:45]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS Orenda
2014/05/22 DOTA
Python中的高级数据结构详解
2015/03/27 Python
Python中将变量按行写入txt文本中的方法
2018/04/03 Python
详解Python:面向对象编程
2019/04/10 Python
python实现几种归一化方法(Normalization Method)
2019/07/31 Python
Selenium向iframe富文本框输入内容过程图解
2020/04/10 Python
pytorch判断是否cuda 判断变量类型方式
2020/06/23 Python
马来西亚航空官方网站:Malaysia Airlines
2017/07/28 全球购物
达拉斯牛仔官方商店:Dallas Cowboys Pro Shop
2018/02/10 全球购物
美国社交购物市场:MassGenie
2019/02/18 全球购物
动物学专业毕业生求职信
2013/10/11 职场文书
高三学习决心书
2014/03/11 职场文书
市级优秀班主任事迹材料
2014/05/13 职场文书
排查整治工作方案
2014/06/09 职场文书
2015年学雷锋活动总结
2015/02/06 职场文书
Python WSGI 规范简介
2021/04/11 Python
SQL Server中交叉联接的用法详解
2021/04/22 SQL Server
Java 超详细讲解hashCode方法
2022/04/07 Java/Android