Python3爬虫里关于Splash负载均衡配置详解


Posted in Python onJuly 10, 2020

用Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splash服务的压力。

1. 配置Splash服务

要搭建Splash负载均衡,首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务,它们的服务地址分别为41.159.27.223:8050、41.159.27.221:8050、41.159.27.9:8050和41.159.117.119:8050,这4个服务完全一致,都是通过Docker的Splash镜像开启的。访问其中任何一个服务时,都可以使用Splash服务。

2. 配置负载均衡

接下来,可以选用任意一台带有公网IP的主机来配置负载均衡。首先,在这台主机上装好Nginx,然后修改Nginx的配置文件nginx.conf,添加如下内容:

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
        }
    }
}

这样我们通过upstream字段定义了一个名字叫作splash的服务集群配置。其中least_conn代表最少链接负载均衡,它适合处理请求处理时间长短不一造成服务器过载的情况。

当然,我们也可以不指定配置,具体如下:

upstream splash {
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

这样默认以轮询策略实现负载均衡,每个服务器的压力相同。此策略适合服务器配置相当、无状态且短平快的服务使用。

另外,我们还可以指定权重,配置如下:

upstream splash {
    server 41.159.27.223:8050 weight=4;
    server 41.159.27.221:8050 weight=2;
    server 41.159.27.9:8050 weight=2;
    server 41.159.117.119:8050 weight=1;
}

这里weight参数指定各个服务的权重,权重越高,分配到处理的请求越多。假如不同的服务器配置差别比较大的话,可以使用此种配置。

最后,还有一种IP散列负载均衡,配置如下:

upstream splash {
    ip_hash;
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

服务器根据请求客户端的IP地址进行散列计算,确保使用同一个服务器响应请求,这种策略适合有状态的服务,比如用户登录后访问某个页面的情形。对于Splash来说,不需要应用此设置。

我们可以根据不同的情形选用不同的配置,配置完成后重启一下Nginx服务:

sudo nginx -s reload

这样直接访问Nginx所在服务器的8050端口,即可实现负载均衡了。

3. 配置认证

现在Splash是可以公开访问的,如果不想让其公开访问,还可以配置认证,这仍然借助于Nginx。可以在server的location字段中添加auth_basic和auth_basic_user_file字段,具体配置如下:

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
            auth_basic "Restricted";
            auth_basic_user_file /etc/nginx/conf.d/.htpasswd;
        }
    }
}

这里使用的用户名和密码配置放置在/etc/nginx/conf.d目录下,我们需要使用htpasswd命令创建。例如,创建一个用户名为admin的文件,相关命令如下:

htpasswd -c .htpasswd admin

接下来就会提示我们输入密码,输入两次之后,就会生成密码文件,其内容如下:

cat .htpasswd 
admin:5ZBxQr0rCqwbc

配置完成后,重启一下Nginx服务:

sudo nginx -s reload

这样访问认证就成功配置好了。

4. 测试

最后,我们可以用代码来测试一下负载均衡的配置,看看到底是不是每次请求会切换IP。利用http://httpbin.org/get测试即可,实现代码如下:

import requests
from urllib.parse import quote
import re
lua = '''
function main(splash, args)
  local treat = require("treat")
  local response = splash:http_get("http://httpbin.org/get")
  return treat.as_string(response.body)
end
'''
url = 'http://splash:8050/execute?lua_source=' + quote(lua)
response = requests.get(url, auth=('admin', 'admin'))
ip = re.search('(\d+\.\d+\.\d+\.\d+)', response.text).group(1)
print(ip)

这里URL中的splash字符串请自行替换成自己的Nginx服务器IP。这里我修改了Hosts,设置了splash为Nginx服务器IP。

多次运行代码之后,可以发现每次请求的IP都会变化,比如第一次的结果:

41.159.27.223

第二次的结果:

41.159.27.9

这就说明负载均衡已经成功实现了。

本节中,我们成功实现了负载均衡的配置。配置负载均衡后,可以多个Splash服务共同合作,减轻单个服务的负载,这还是比较有用的。

到此这篇关于Python3爬虫里关于Splash负载均衡配置详解的文章就介绍到这了,更多相关Python3 Splash负载均衡配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python(Tornado)模拟登录小米抢手机
Nov 12 Python
Python实现简单的多任务mysql转xml的方法
Feb 08 Python
Python 专题三 字符串的基础知识
Mar 19 Python
Python实现1-9数组形成的结果为100的所有运算式的示例
Nov 03 Python
Python基于PyGraphics包实现图片截取功能的方法
Dec 21 Python
酷! 程序员用Python带你玩转冲顶大会
Jan 17 Python
使用apidocJs快速生成在线文档的实例讲解
Feb 07 Python
tensorflow入门之训练简单的神经网络方法
Feb 26 Python
Django后台获取前端post上传的文件方法
May 28 Python
Python2.7版os.path.isdir中文路径返回false的解决方法
Jun 21 Python
浅谈python 中类属性共享的问题
Jul 02 Python
Python+kivy BoxLayout布局示例代码详解
Dec 28 Python
python3爬虫中异步协程的用法
Jul 10 #Python
浅析Python面向对象编程
Jul 10 #Python
Python爬虫小例子——爬取51job发布的工作职位
Jul 10 #Python
Python 如何对文件目录操作
Jul 10 #Python
Python下划线5种含义代码实例解析
Jul 10 #Python
Python 没有main函数的原因
Jul 10 #Python
如何教少儿学习Python编程
Jul 10 #Python
You might like
《雄兵连》系列首部大电影《烈阳天道》:可能是因为期望值太高了
2020/08/18 国漫
PHP 5.0对象模型深度探索之对象复制
2008/03/27 PHP
php上传文件的增强函数
2010/07/21 PHP
基于php socket(fsockopen)的应用实例分析
2013/06/02 PHP
Laravel5权限管理方法详解
2016/07/26 PHP
PHP设计模式之抽象工厂模式实例分析
2019/03/25 PHP
javascript中的nextSibling使用陷(da)阱(keng)
2014/05/05 Javascript
js实现两点之间画线的方法
2015/05/12 Javascript
PHP结合jQuery实现红蓝投票功能特效
2015/07/22 Javascript
黑帽seo劫持程序,js劫持搜索引擎代码
2015/09/15 Javascript
简单的jQuery banner图片轮播实例代码
2016/03/04 Javascript
Treegrid的动态加载实例代码
2016/04/29 Javascript
又一款js时钟!transform实现时钟效果
2016/08/15 Javascript
mvc 、bootstrap 结合分布式图简单实现分页
2016/10/10 Javascript
JS+HTML5实现的前端购物车功能插件实例【附demo源码下载】
2016/10/17 Javascript
JavaScript在控件上添加倒计时功能的实现代码
2017/07/04 Javascript
JavaScript中重名的函数与对象示例详析
2017/09/28 Javascript
vue的全局提示框组件实例代码
2018/02/26 Javascript
vue-cli3使用mock数据的方法分析
2020/03/16 Javascript
JS定时器如何实现提交成功提示功能
2020/06/12 Javascript
pycharm 使用心得(六)进行简单的数据库管理
2014/06/06 Python
遗传算法python版
2018/03/19 Python
CentOS 7 安装python3.7.1的方法及注意事项
2018/11/01 Python
python绘制中国大陆人口热力图
2018/11/07 Python
Python 装饰器原理、定义与用法详解
2019/12/07 Python
python 比较2张图片的相似度的方法示例
2019/12/18 Python
如何用Matplotlib 画三维图的示例代码
2020/07/28 Python
Numpy(Pandas)删除全为零的列的方法
2020/09/11 Python
手工制作的音乐盒:Music Box Attic
2019/09/05 全球购物
Linux管理员面试题 Linux admin interview questions
2014/11/01 面试题
捐献物资倡议书范文
2014/05/19 职场文书
客户答谢会活动方案
2014/08/31 职场文书
中学生爱国演讲稿
2014/09/05 职场文书
感恩教师节主题班会
2015/08/12 职场文书
2016年第二十届“母亲节暨幸福工程救助贫困母亲活动日”活动总结
2016/04/06 职场文书
大学生如何逃脱“毕业季创业队即散伙”魔咒?
2019/08/19 职场文书