python分布式环境下的限流器的示例


Posted in Python onOctober 26, 2017

项目中用到了限流,受限于一些实现方式上的东西,手撕了一个简单的服务端限流器。

服务端限流和客户端限流的区别,简单来说就是:

1)服务端限流

对接口请求进行限流,限制的是单位时间内请求的数量,目的是通过有损来换取高可用。

例如我们的场景是,有一个服务接收请求,处理之后,将数据bulk到Elasticsearch中进行索引存储,bulk索引是一个很耗费资源的操作,如果遭遇到请求流量激增,可能会压垮Elasticsearch(队列阻塞,内存激增),所以需要对流量的峰值做一个限制。

2)客户端限流

限制的是客户端进行访问的次数。

例如,线程池就是一个天然的限流器。限制了并发个数max_connection,多了的就放到缓冲队列里排队,排队搁不下了>queue_size就扔掉。

本文是服务端限流器。

我这个限流器的优点:

1)简单
2)管事

缺点:

1)不能做到平滑限流

例如大家尝尝说的令牌桶算法和漏桶算法(我感觉这两个算法本质上都是一个事情)可以实现平滑限流。什么是平滑限流?举个栗子,我们要限制5秒钟内访问数不超过1000,平滑限流能做到,每秒200个,5秒钟不超过1000,很平衡;非平滑限流可能,在第一秒就访问了1000次,之后的4秒钟全部限制住。•2)不灵活

只实现了秒级的限流。

支持两个场景:

1)对于单进程多线程场景(使用线程安全的Queue做全局变量)

这种场景下,只部署了一个实例,对这个实例进行限流。在生产环境中用的很少。

2)对于多进程分布式场景(使用redis做全局变量)

多实例部署,一般来说生产环境,都是这样的使用场景。

在这样的场景下,需要对流量进行整体的把控。例如,user服务部署了三个实例,对外暴露query接口,要做的是对接口级的流量限制,也就是对query这个接口整体允许多大的峰值,而不去关心到底负载到哪个实例。

题外话,这个可以通过nginx做。 

下面说一下限流器的实现吧。 

1、接口BaseRateLimiter

按照我的思路,先定义一个接口,也可以叫抽象类。

初始化的时候,要配置rate,限流器的限速。

提供一个抽象方法,acquire(),调用这个方法,返回是否限制流量。

class BaseRateLimiter(object):

  __metaclass__ = abc.ABCMeta

  @abc.abstractmethod
  def __init__(self, rate):
    self.rate = rate

  @abc.abstractmethod
  def acquire(self, count):
    return

2、单进程多线程场景的限流ThreadingRateLimiter

继承BaseRateLimiter抽象类,使用线程安全的Queue作为全局变量,来消除竞态影响。

后台有个进程每秒钟清空一次queue;

当请求来了,调用acquire函数,queue incr一次,如果大于限速了,就返回限制。否则就允许访问。

class ThreadingRateLimiter(BaseRateLimiter):

  def __init__(self, rate):
    BaseRateLimiter.__init__(self, rate)
    self.queue = Queue.Queue()
    threading.Thread(target=self._clear_queue).start()

  def acquire(self, count=1):
    self.queue.put(1, block=False)
    return self.queue.qsize() < self.rate

  def _clear_queue(self):
    while 1:
      time.sleep(1)
      self.queue.queue.clear()

2、分布式场景下的限流DistributeRateLimiter

继承BaseRateLimiter抽象类,使用外部存储作为共享变量,外部存储的访问方式为cache。

class DistributeRateLimiter(BaseRateLimiter):

  def __init__(self, rate, cache):
    BaseRateLimiter.__init__(self, rate)
    self.cache = cache

  def acquire(self, count=1, expire=3, key=None, callback=None):
    try:
      if isinstance(self.cache, Cache):
        return self.cache.fetchToken(rate=self.rate, count=count, expire=expire, key=key)
    except Exception, ex:
      return True

为了解耦和灵活性,我们实现了Cache类。提供一个抽象方法getToken()

如果你使用redis的话,你就继承Cache抽象类,实现通过redis获取令牌的方法。

如果使用mysql的话,你就继承Cache抽象类,实现通过mysql获取令牌的方法。

cache抽象类

class Cache(object):

  __metaclass__ = abc.ABCMeta

  @abc.abstractmethod
  def __init__(self):
    self.key = "DEFAULT"
    self.namespace = "RATELIMITER"

  @abc.abstractmethod
  def fetchToken(self, rate, key=None):
    return

给出一个redis的实现RedisTokenCache

每秒钟创建一个key,并且对请求进行计数incr,当这一秒的计数值已经超过了限速rate,就拿不到token了,也就是限制流量。

对每秒钟创建出的key,让他超时expire。保证key不会持续占用存储空间。

没有什么难点,这里使用redis事务,保证incr和expire能同时执行成功。

class RedisTokenCache(Cache):

  def __init__(self, host, port, db=0, password=None, max_connections=None):
    Cache.__init__(self)
    self.redis = redis.Redis(
      connection_pool=
        redis.ConnectionPool(
          host=host, port=port, db=db,
          password=password,
          max_connections=max_connections
        ))

  def fetchToken(self, rate=100, count=1, expire=3, key=None):
    date = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    key = ":".join([self.namespace, key if key else self.key, date])
    try:
      current = self.redis.get(key)
      if int(current if current else "0") > rate:
        raise Exception("to many requests in current second: %s" % date)
      else:
        with self.redis.pipeline() as p:
          p.multi()
          p.incr(key, count)
          p.expire(key, int(expire if expire else "3"))
          p.execute()
          return True
    except Exception, ex:
      return False

多线程场景下测试代码 

limiter = ThreadingRateLimiter(rate=10000)

def job():
  while 1:
    if not limiter.acquire():
      print '限流'
    else:
      print '正常'

threads = [threading.Thread(target=job) for i in range(10)]
for thread in threads:
  thread.start()

分布式场景下测试代码

token_cache = RedisTokenCache(host='10.93.84.53', port=6379, password='bigdata123')
limiter = DistributeRateLimiter(rate=10000, cache=token_cache)
r = redis.Redis(connection_pool=redis.ConnectionPool(host='10.93.84.53', port=6379, password='bigdata123'))

def job():
  while 1:
    if not limiter.acquire():
      print '限流'
    else:
      print '正常'

threads = [multiprocessing.Process(target=job) for i in range(10)]
for thread in threads:
  thread.start()

可以自行跑一下。 

说明:

我这里的限速都是秒级别的,例如限制每秒400次请求。有可能出现这一秒的前100ms,就来了400次请求,后900ms就全部限制住了。也就是不能平滑限流。

不过如果你后台的逻辑有队列,或者线程池这样的缓冲,这个不平滑的影响其实不大。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用Scrapy爬取妹子图
May 28 Python
Django objects.all()、objects.get()与objects.filter()之间的区别介绍
Jun 12 Python
详解Django之admin组件的使用和源码剖析
May 04 Python
Python实现的读取电脑硬件信息功能示例
May 30 Python
对sklearn的使用之数据集的拆分与训练详解(python3.6)
Dec 14 Python
Python3实现的旋转矩阵图像算法示例
Apr 03 Python
python conda操作方法
Sep 11 Python
Python udp网络程序实现发送、接收数据功能示例
Dec 09 Python
Django添加bootstrap框架时无法加载静态文件的解决方式
Mar 27 Python
Python 如何测试文件是否存在
Jul 31 Python
Python selenium环境搭建实现过程解析
Sep 08 Python
Django跨域请求原理及实现代码
Nov 14 Python
Python Nose框架编写测试用例方法
Oct 26 #Python
Python面向对象编程基础解析(二)
Oct 26 #Python
Python面向对象编程基础解析(一)
Oct 26 #Python
获取Django项目的全部url方法详解
Oct 26 #Python
Python探索之ModelForm代码详解
Oct 26 #Python
启动targetcli时遇到错误解决办法
Oct 26 #Python
Mac中Python 3环境下安装scrapy的方法教程
Oct 26 #Python
You might like
通过JavaScript或PHP检测Android设备的代码
2011/03/09 PHP
解析php中memcache的应用
2013/06/18 PHP
php使用$_POST或$_SESSION[]向js函数传参
2014/09/16 PHP
PHP输出缓冲控制Output Control系列函数详解
2015/07/02 PHP
php实现常见图片格式的水印和缩略图制作(面向对象)
2016/06/15 PHP
YII2框架中excel表格导出的方法详解
2017/07/21 PHP
php表单处理操作
2017/11/16 PHP
jQuery实用技巧必备(下)
2015/11/03 Javascript
JS表格组件神器bootstrap table详解(基础版)
2015/12/08 Javascript
js实现上传图片预览方法
2016/10/25 Javascript
JavaScript获取URL参数的方法之一
2017/03/24 Javascript
Node.js引入UIBootstrap的方法示例
2018/05/11 Javascript
Vue实现简单的拖拽效果
2020/08/25 Javascript
JS canvas实现画板和签字板功能
2021/02/23 Javascript
[01:11:08]Winstrike vs NB 2018国际邀请赛淘汰赛BO1 8.21
2018/08/22 DOTA
Python中文编码那些事
2014/06/25 Python
解析Python编程中的包结构
2015/10/25 Python
举例讲解Python中的list列表数据结构用法
2016/03/12 Python
python中reload(module)的用法示例详解
2017/09/15 Python
浅谈Python实现2种文件复制的方法
2018/01/19 Python
python实现抖音视频批量下载
2018/06/20 Python
Python多线程同步---文件读写控制方法
2019/02/12 Python
postman模拟访问具有Session的post请求方法
2019/07/15 Python
python代数式括号有效性检验示例代码
2020/10/04 Python
如何用python批量调整视频声音
2020/12/22 Python
python实现学生信息管理系统源码
2021/02/22 Python
HTML5 embed标签定义和用法详解
2014/05/09 HTML / CSS
十一个高级MySql面试题
2014/10/06 面试题
财会自我鉴定范文
2013/12/27 职场文书
商铺门前三包责任书
2014/07/25 职场文书
学习党的群众路线教育实践活动心得体会范文
2014/11/03 职场文书
诚信承诺书
2015/01/19 职场文书
2016年大学迎新晚会工作总结
2015/10/15 职场文书
html实现随机点名器的示例代码
2021/04/02 Javascript
html实现弹窗的实例
2021/06/09 HTML / CSS
mysql的数据压缩性能对比详情
2021/11/07 MySQL