基于python实现雪花算法过程详解


Posted in Python onNovember 16, 2019

这篇文章主要介绍了基于python实现雪花算法过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Snowflake是Twitter提出来的一个算法,其目的是生成一个64bit的整数:

基于python实现雪花算法过程详解

  • 1bit:一般是符号位,不做处理
  • 41bit:用来记录时间戳,这里可以记录69年,如果设置好起始时间比如今年是2018年,那么可以用到2089年,到时候怎么办?要是这个系统能用69年,我相信这个系统早都重构了好多次了。
  • 10bit:10bit用来记录机器ID,总共可以记录1024台机器,一般用前5位代表数据中心,后面5位是某个数据中心的机器ID
  • 12bit:循环位,用来对同一个毫秒之内产生不同的ID,12位可以最多记录4095个,也就是在同一个机器同一毫秒最多记录4095个,多余的需要进行等待下毫秒。

上面只是一个将64bit划分的标准,当然也不一定这么做,可以根据不同业务的具体场景来划分,比如下面给出一个业务场景:

  • 服务目前QPS10万,预计几年之内会发展到百万。
  • 当前机器三地部署,上海,北京,深圳都有。
  • 当前机器10台左右,预计未来会增加至百台。
  • 这个时候我们根据上面的场景可以再次合理的划分62bit,QPS几年之内会发展到百万,那么每毫秒就是千级的请求,目前10台机器那么每台机器承担百级的请求,为了保证扩展,后面的循环位可以限制到1024,也就是2^10,那么循环位10位就足够了。

机器三地部署我们可以用3bit总共8来表示机房位置,当前的机器10台,为了保证扩展到百台那么可以用7bit 128来表示,时间位依然是41bit,那么还剩下64-10-3-7-41-1 = 2bit,还剩下2bit可以用来进行扩展。

基于python实现雪花算法过程详解

时钟回拨

因为机器的原因会发生时间回拨,我们的雪花算法是强依赖我们的时间的,如果时间发生回拨,有可能会生成重复的ID,在我们上面的nextId中我们用当前时间和上一次的时间进行判断,如果当前时间小于上一次的时间那么肯定是发生了回拨,算法会直接抛出异常.

# Twitter's Snowflake algorithm implementation which is used to generate distributed IDs.
# https://github.com/twitter-archive/snowflake/blob/snowflake-2010/src/main/scala/com/twitter/service/snowflake/IdWorker.scala

import time
import logging

from .exceptions import InvalidSystemClock


# 64位ID的划分
WORKER_ID_BITS = 5
DATACENTER_ID_BITS = 5
SEQUENCE_BITS = 12

# 最大取值计算
MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS) # 2**5-1 0b11111
MAX_DATACENTER_ID = -1 ^ (-1 << DATACENTER_ID_BITS)

# 移位偏移计算
WOKER_ID_SHIFT = SEQUENCE_BITS
DATACENTER_ID_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS
TIMESTAMP_LEFT_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS + DATACENTER_ID_BITS

# 序号循环掩码
SEQUENCE_MASK = -1 ^ (-1 << SEQUENCE_BITS)

# Twitter元年时间戳
TWEPOCH = 1288834974657


logger = logging.getLogger('flask.app')


class IdWorker(object):
  """
  用于生成IDs
  """

  def __init__(self, datacenter_id, worker_id, sequence=0):
    """
    初始化
    :param datacenter_id: 数据中心(机器区域)ID
    :param worker_id: 机器ID
    :param sequence: 其实序号
    """
    # sanity check
    if worker_id > MAX_WORKER_ID or worker_id < 0:
      raise ValueError('worker_id值越界')

    if datacenter_id > MAX_DATACENTER_ID or datacenter_id < 0:
      raise ValueError('datacenter_id值越界')

    self.worker_id = worker_id
    self.datacenter_id = datacenter_id
    self.sequence = sequence

    self.last_timestamp = -1 # 上次计算的时间戳

  def _gen_timestamp(self):
    """
    生成整数时间戳
    :return:int timestamp
    """
    return int(time.time() * 1000)

  def get_id(self):
    """
    获取新ID
    :return:
    """
    timestamp = self._gen_timestamp()

    # 时钟回拨
    if timestamp < self.last_timestamp:
      logging.error('clock is moving backwards. Rejecting requests until {}'.format(self.last_timestamp))
      raise InvalidSystemClock

    if timestamp == self.last_timestamp:
      self.sequence = (self.sequence + 1) & SEQUENCE_MASK
      if self.sequence == 0:
        timestamp = self._til_next_millis(self.last_timestamp)
    else:
      self.sequence = 0

    self.last_timestamp = timestamp

    new_id = ((timestamp - TWEPOCH) << TIMESTAMP_LEFT_SHIFT) | (self.datacenter_id << DATACENTER_ID_SHIFT) | \
         (self.worker_id << WOKER_ID_SHIFT) | self.sequence
    return new_id

  def _til_next_millis(self, last_timestamp):
    """
    等到下一毫秒
    """
    timestamp = self._gen_timestamp()
    while timestamp <= last_timestamp:
      timestamp = self._gen_timestamp()
    return timestamp

if __name__ == '__main__':
  worker = IdWorker(1, 2, 0)
  print(worker.get_id())

同文件夹下建立exceptions.py

class InvalidSystemClock(Exception):
  """
  时钟回拨异常
  """
  pass

配置文件中添加,对应的是机器ID和序列号

# Snowflake ID Worker 参数
  DATACENTER_ID = 0
  WORKER_ID = 0
  SEQUENCE = 0

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现简单socket通信的方法
Apr 19 Python
python实现汽车管理系统
Nov 30 Python
对Python实现简单的API接口实例讲解
Dec 10 Python
Ubuntu18.04中Python2.7与Python3.6环境切换
Jun 14 Python
python识别图像并提取文字的实现方法
Jun 28 Python
利用Pandas和Numpy按时间戳将数据以Groupby方式分组
Jul 22 Python
TensorFlow车牌识别完整版代码(含车牌数据集)
Aug 05 Python
Pytorch 中retain_graph的用法详解
Jan 07 Python
Python 判断时间是否在时间区间内的实例
May 16 Python
浅谈Python爬虫原理与数据抓取
Jul 21 Python
Python实现爬取网页中动态加载的数据
Aug 17 Python
python四种出行路线规划的实现
Jun 23 Python
Python大数据之使用lxml库解析html网页文件示例
Nov 16 #Python
Python大数据之从网页上爬取数据的方法详解
Nov 16 #Python
简单了解Pandas缺失值处理方法
Nov 16 #Python
python selenium 执行完毕关闭chromedriver进程示例
Nov 15 #Python
浅谈Django2.0 加xadmin踩的坑
Nov 15 #Python
Django 实现xadmin后台菜单改为中文
Nov 15 #Python
django使用xadmin的全局配置详解
Nov 15 #Python
You might like
一篇入门的php Class 文章
2007/04/04 PHP
CI框架开发新浪微博登录接口源码完整版
2014/05/28 PHP
读取input:file的路径并显示本地图片的方法
2013/09/23 Javascript
js提示框替代系统alert,自动关闭alert对话框的实现方法
2016/11/07 Javascript
通过Ajax使用FormData对象无刷新上传文件方法
2016/12/08 Javascript
Jquery Easyui菜单组件Menu使用详解(15)
2016/12/18 Javascript
jquery中$.fn和图片滚动效果实现的必备知识总结
2017/04/21 jQuery
Javascript 一些需要注意的细节(必看篇)
2017/07/08 Javascript
详解react-webpack2-热模块替换[HMR]
2017/08/03 Javascript
详解js静态检查工具eslint配置文件
2018/11/23 Javascript
浅析Proxy可以优化vue的数据监听机制问题及实现思路
2018/11/29 Javascript
PWA介绍及快速上手搭建一个PWA应用的方法
2019/01/27 Javascript
js实现微信聊天界面
2020/08/09 Javascript
[06:13]DOTA2进化论(修改版)
2013/10/08 DOTA
[05:29]2014DOTA2国际邀请赛 赛后专访:LGDNewbee顺利过关
2014/07/13 DOTA
Python运算符重载用法实例
2015/05/28 Python
Python栈算法的实现与简单应用示例
2017/11/01 Python
python 自定义装饰器实例详解
2019/07/20 Python
通过python实现windows桌面截图代码实例
2020/01/17 Python
在Tensorflow中实现梯度下降法更新参数值
2020/01/23 Python
python 逆向爬虫正确调用 JAR 加密逻辑
2021/01/12 Python
H5新属性audio音频和video视频的控制详解(推荐)
2016/12/09 HTML / CSS
AmazeUI的JS表单验证框架实战示例分享
2020/08/21 HTML / CSS
飞利浦比利时官方网站:Philips比利时
2016/08/24 全球购物
澳大利亚家具和家居用品在线:BROSA
2017/11/02 全球购物
英智兴达软件测试笔试题
2016/10/12 面试题
开会迟到检讨书
2014/01/08 职场文书
个人公开承诺书
2014/03/28 职场文书
雷锋精神演讲稿
2014/05/13 职场文书
保护环境的标语
2014/06/09 职场文书
端午节活动总结
2014/08/26 职场文书
2014乡镇党政班子四风问题思想汇报
2014/09/14 职场文书
电工实训报告总结
2014/11/05 职场文书
教师工作表现评语
2014/12/31 职场文书
2015年信贷员工作总结
2015/04/28 职场文书
JS开发前端团队展示控制器来为成员引流
2022/08/14 Javascript