Python3爬虫里关于Splash负载均衡配置详解


Posted in Python onJuly 10, 2020

用Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splash服务的压力。

1. 配置Splash服务

要搭建Splash负载均衡,首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务,它们的服务地址分别为41.159.27.223:8050、41.159.27.221:8050、41.159.27.9:8050和41.159.117.119:8050,这4个服务完全一致,都是通过Docker的Splash镜像开启的。访问其中任何一个服务时,都可以使用Splash服务。

2. 配置负载均衡

接下来,可以选用任意一台带有公网IP的主机来配置负载均衡。首先,在这台主机上装好Nginx,然后修改Nginx的配置文件nginx.conf,添加如下内容:

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
        }
    }
}

这样我们通过upstream字段定义了一个名字叫作splash的服务集群配置。其中least_conn代表最少链接负载均衡,它适合处理请求处理时间长短不一造成服务器过载的情况。

当然,我们也可以不指定配置,具体如下:

upstream splash {
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

这样默认以轮询策略实现负载均衡,每个服务器的压力相同。此策略适合服务器配置相当、无状态且短平快的服务使用。

另外,我们还可以指定权重,配置如下:

upstream splash {
    server 41.159.27.223:8050 weight=4;
    server 41.159.27.221:8050 weight=2;
    server 41.159.27.9:8050 weight=2;
    server 41.159.117.119:8050 weight=1;
}

这里weight参数指定各个服务的权重,权重越高,分配到处理的请求越多。假如不同的服务器配置差别比较大的话,可以使用此种配置。

最后,还有一种IP散列负载均衡,配置如下:

upstream splash {
    ip_hash;
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

服务器根据请求客户端的IP地址进行散列计算,确保使用同一个服务器响应请求,这种策略适合有状态的服务,比如用户登录后访问某个页面的情形。对于Splash来说,不需要应用此设置。

我们可以根据不同的情形选用不同的配置,配置完成后重启一下Nginx服务:

sudo nginx -s reload

这样直接访问Nginx所在服务器的8050端口,即可实现负载均衡了。

3. 配置认证

现在Splash是可以公开访问的,如果不想让其公开访问,还可以配置认证,这仍然借助于Nginx。可以在server的location字段中添加auth_basic和auth_basic_user_file字段,具体配置如下:

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
            auth_basic "Restricted";
            auth_basic_user_file /etc/nginx/conf.d/.htpasswd;
        }
    }
}

这里使用的用户名和密码配置放置在/etc/nginx/conf.d目录下,我们需要使用htpasswd命令创建。例如,创建一个用户名为admin的文件,相关命令如下:

htpasswd -c .htpasswd admin

接下来就会提示我们输入密码,输入两次之后,就会生成密码文件,其内容如下:

cat .htpasswd 
admin:5ZBxQr0rCqwbc

配置完成后,重启一下Nginx服务:

sudo nginx -s reload

这样访问认证就成功配置好了。

4. 测试

最后,我们可以用代码来测试一下负载均衡的配置,看看到底是不是每次请求会切换IP。利用http://httpbin.org/get测试即可,实现代码如下:

import requests
from urllib.parse import quote
import re
lua = '''
function main(splash, args)
  local treat = require("treat")
  local response = splash:http_get("http://httpbin.org/get")
  return treat.as_string(response.body)
end
'''
url = 'http://splash:8050/execute?lua_source=' + quote(lua)
response = requests.get(url, auth=('admin', 'admin'))
ip = re.search('(\d+\.\d+\.\d+\.\d+)', response.text).group(1)
print(ip)

这里URL中的splash字符串请自行替换成自己的Nginx服务器IP。这里我修改了Hosts,设置了splash为Nginx服务器IP。

多次运行代码之后,可以发现每次请求的IP都会变化,比如第一次的结果:

41.159.27.223

第二次的结果:

41.159.27.9

这就说明负载均衡已经成功实现了。

本节中,我们成功实现了负载均衡的配置。配置负载均衡后,可以多个Splash服务共同合作,减轻单个服务的负载,这还是比较有用的。

到此这篇关于Python3爬虫里关于Splash负载均衡配置详解的文章就介绍到这了,更多相关Python3 Splash负载均衡配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中常用的各种数据库操作模块和连接实例
May 29 Python
使用Python脚本来获取Cisco设备信息的示例
May 04 Python
在Python中操作字符串之startswith()方法的使用
May 20 Python
深入解析Python中的lambda表达式的用法
Aug 28 Python
读取本地json文件,解析json(实例讲解)
Dec 06 Python
django从请求到响应的过程深入讲解
Aug 01 Python
pandas每次多Sheet写入文件的方法
Dec 10 Python
Python3爬虫之urllib携带cookie爬取网页的方法
Dec 28 Python
Pycharm 设置默认头的图文教程
Jan 17 Python
python实现数据分析与建模
Jul 11 Python
Python numpy.zero() 初始化矩阵实例
Nov 27 Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 Python
python3爬虫中异步协程的用法
Jul 10 #Python
浅析Python面向对象编程
Jul 10 #Python
Python爬虫小例子——爬取51job发布的工作职位
Jul 10 #Python
Python 如何对文件目录操作
Jul 10 #Python
Python下划线5种含义代码实例解析
Jul 10 #Python
Python 没有main函数的原因
Jul 10 #Python
如何教少儿学习Python编程
Jul 10 #Python
You might like
PHP 第一节 php简介
2012/04/28 PHP
九个你必须知道而且又很好用的php函数和特点
2013/08/08 PHP
PHP技术开发微信公众平台
2015/07/22 PHP
Yii视图CGridView列表用法实例分析
2016/07/12 PHP
php分享朋友圈的实现代码
2019/02/18 PHP
jQuery链式操作如何实现以及为什么要用链式操作
2013/01/17 Javascript
JavaScript数组Array对象增加和删除元素方法总结
2015/01/20 Javascript
javascript批量修改文件编码格式的方法
2015/01/27 Javascript
javascript中call apply 的应用场景
2015/04/16 Javascript
jquery显示loading图片直到网页加载完成的方法
2015/06/25 Javascript
JavaScript精炼之构造函数 Constructor及Constructor属性详解
2015/11/05 Javascript
Linux下为Node.js程序配置MySQL或Oracle数据库的方法
2016/03/19 Javascript
Vuejs第十篇之vuejs父子组件通信
2016/09/06 Javascript
JavaScript中常用的验证reg
2016/10/13 Javascript
解析如何利用iframe标签以及js制作时钟
2016/12/08 Javascript
Angular ui.bootstrap.pagination分页
2017/01/20 Javascript
node.js入门教程之querystring模块的使用方法
2017/02/27 Javascript
vue 2.0封装model组件的方法
2017/08/03 Javascript
使用cropper.js裁剪头像的实例代码
2017/09/29 Javascript
解决Vue 项目打包后favicon无法正常显示的问题
2018/09/01 Javascript
深入学习Vue nextTick的用法及原理
2019/10/08 Javascript
js实现验证码功能
2020/07/24 Javascript
[01:38]DOTA2第二届亚洲邀请赛中国区预选赛出线战队晋级之路
2017/01/17 DOTA
Python正则表达式匹配ip地址实例
2014/10/09 Python
django开发教程之利用缓存文件进行页面缓存的方法
2017/11/10 Python
使用 Python 实现微信群友统计器的思路详解
2018/09/26 Python
对python产生随机的二维数组实例详解
2018/12/13 Python
Python从list类型、range()序列简单认识类(class)【可迭代】
2019/05/31 Python
Python3内置模块之base64编解码方法详解
2019/07/13 Python
python GUI图形化编程wxpython的使用
2019/07/19 Python
Python字节单位转换实例
2019/12/05 Python
python小技巧——将变量保存在本地及读取
2020/11/13 Python
一家专门做特卖的网站:唯品会
2016/10/09 全球购物
校庆接待方案
2014/03/18 职场文书
2014年乡镇安全生产工作总结
2014/12/02 职场文书
你离财务总监还有多远?速览CFO的岗位职责
2019/11/18 职场文书