基于python实现雪花算法过程详解


Posted in Python onNovember 16, 2019

这篇文章主要介绍了基于python实现雪花算法过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Snowflake是Twitter提出来的一个算法,其目的是生成一个64bit的整数:

基于python实现雪花算法过程详解

  • 1bit:一般是符号位,不做处理
  • 41bit:用来记录时间戳,这里可以记录69年,如果设置好起始时间比如今年是2018年,那么可以用到2089年,到时候怎么办?要是这个系统能用69年,我相信这个系统早都重构了好多次了。
  • 10bit:10bit用来记录机器ID,总共可以记录1024台机器,一般用前5位代表数据中心,后面5位是某个数据中心的机器ID
  • 12bit:循环位,用来对同一个毫秒之内产生不同的ID,12位可以最多记录4095个,也就是在同一个机器同一毫秒最多记录4095个,多余的需要进行等待下毫秒。

上面只是一个将64bit划分的标准,当然也不一定这么做,可以根据不同业务的具体场景来划分,比如下面给出一个业务场景:

  • 服务目前QPS10万,预计几年之内会发展到百万。
  • 当前机器三地部署,上海,北京,深圳都有。
  • 当前机器10台左右,预计未来会增加至百台。
  • 这个时候我们根据上面的场景可以再次合理的划分62bit,QPS几年之内会发展到百万,那么每毫秒就是千级的请求,目前10台机器那么每台机器承担百级的请求,为了保证扩展,后面的循环位可以限制到1024,也就是2^10,那么循环位10位就足够了。

机器三地部署我们可以用3bit总共8来表示机房位置,当前的机器10台,为了保证扩展到百台那么可以用7bit 128来表示,时间位依然是41bit,那么还剩下64-10-3-7-41-1 = 2bit,还剩下2bit可以用来进行扩展。

基于python实现雪花算法过程详解

时钟回拨

因为机器的原因会发生时间回拨,我们的雪花算法是强依赖我们的时间的,如果时间发生回拨,有可能会生成重复的ID,在我们上面的nextId中我们用当前时间和上一次的时间进行判断,如果当前时间小于上一次的时间那么肯定是发生了回拨,算法会直接抛出异常.

# Twitter's Snowflake algorithm implementation which is used to generate distributed IDs.
# https://github.com/twitter-archive/snowflake/blob/snowflake-2010/src/main/scala/com/twitter/service/snowflake/IdWorker.scala

import time
import logging

from .exceptions import InvalidSystemClock


# 64位ID的划分
WORKER_ID_BITS = 5
DATACENTER_ID_BITS = 5
SEQUENCE_BITS = 12

# 最大取值计算
MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS) # 2**5-1 0b11111
MAX_DATACENTER_ID = -1 ^ (-1 << DATACENTER_ID_BITS)

# 移位偏移计算
WOKER_ID_SHIFT = SEQUENCE_BITS
DATACENTER_ID_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS
TIMESTAMP_LEFT_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS + DATACENTER_ID_BITS

# 序号循环掩码
SEQUENCE_MASK = -1 ^ (-1 << SEQUENCE_BITS)

# Twitter元年时间戳
TWEPOCH = 1288834974657


logger = logging.getLogger('flask.app')


class IdWorker(object):
  """
  用于生成IDs
  """

  def __init__(self, datacenter_id, worker_id, sequence=0):
    """
    初始化
    :param datacenter_id: 数据中心(机器区域)ID
    :param worker_id: 机器ID
    :param sequence: 其实序号
    """
    # sanity check
    if worker_id > MAX_WORKER_ID or worker_id < 0:
      raise ValueError('worker_id值越界')

    if datacenter_id > MAX_DATACENTER_ID or datacenter_id < 0:
      raise ValueError('datacenter_id值越界')

    self.worker_id = worker_id
    self.datacenter_id = datacenter_id
    self.sequence = sequence

    self.last_timestamp = -1 # 上次计算的时间戳

  def _gen_timestamp(self):
    """
    生成整数时间戳
    :return:int timestamp
    """
    return int(time.time() * 1000)

  def get_id(self):
    """
    获取新ID
    :return:
    """
    timestamp = self._gen_timestamp()

    # 时钟回拨
    if timestamp < self.last_timestamp:
      logging.error('clock is moving backwards. Rejecting requests until {}'.format(self.last_timestamp))
      raise InvalidSystemClock

    if timestamp == self.last_timestamp:
      self.sequence = (self.sequence + 1) & SEQUENCE_MASK
      if self.sequence == 0:
        timestamp = self._til_next_millis(self.last_timestamp)
    else:
      self.sequence = 0

    self.last_timestamp = timestamp

    new_id = ((timestamp - TWEPOCH) << TIMESTAMP_LEFT_SHIFT) | (self.datacenter_id << DATACENTER_ID_SHIFT) | \
         (self.worker_id << WOKER_ID_SHIFT) | self.sequence
    return new_id

  def _til_next_millis(self, last_timestamp):
    """
    等到下一毫秒
    """
    timestamp = self._gen_timestamp()
    while timestamp <= last_timestamp:
      timestamp = self._gen_timestamp()
    return timestamp

if __name__ == '__main__':
  worker = IdWorker(1, 2, 0)
  print(worker.get_id())

同文件夹下建立exceptions.py

class InvalidSystemClock(Exception):
  """
  时钟回拨异常
  """
  pass

配置文件中添加,对应的是机器ID和序列号

# Snowflake ID Worker 参数
  DATACENTER_ID = 0
  WORKER_ID = 0
  SEQUENCE = 0

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python将mdb数据库文件导入postgresql数据库示例
Feb 17 Python
Python操作SQLite数据库的方法详解【导入,创建,游标,增删改查等】
Jul 11 Python
python enumerate函数的使用方法总结
Nov 15 Python
Python编程argparse入门浅析
Feb 07 Python
Python创建一个空的dataframe,并循环赋值的方法
Nov 08 Python
值得收藏的10道python 面试题
Apr 15 Python
使用python将多个excel文件合并到同一个文件的方法
Jul 09 Python
Python关于__name__属性的含义和作用详解
Feb 19 Python
在matplotlib中改变figure的布局和大小实例
Apr 23 Python
Python直接赋值及深浅拷贝原理详解
Sep 05 Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 Python
利用python进行数据加载
Jun 20 Python
Python大数据之使用lxml库解析html网页文件示例
Nov 16 #Python
Python大数据之从网页上爬取数据的方法详解
Nov 16 #Python
简单了解Pandas缺失值处理方法
Nov 16 #Python
python selenium 执行完毕关闭chromedriver进程示例
Nov 15 #Python
浅谈Django2.0 加xadmin踩的坑
Nov 15 #Python
Django 实现xadmin后台菜单改为中文
Nov 15 #Python
django使用xadmin的全局配置详解
Nov 15 #Python
You might like
PHP得到某段时间区间的时间戳 php定时任务
2012/04/12 PHP
php $_SERVER windows系统与linux系统下的区别说明
2014/02/14 PHP
PHP对象递归引用造成内存泄漏分析
2014/08/28 PHP
php格式化电话号码的方法
2015/04/24 PHP
php抽象方法和普通方法的区别点总结
2019/10/13 PHP
Laravel5.5 手动分页和自定义分页样式的简单实现
2019/10/15 PHP
JAVASCRIPT下判断IE与FF的比较简单的方式
2008/10/17 Javascript
javaScript call 函数的用法说明
2010/04/09 Javascript
用js获取电脑信息(是使用与IE浏览器)
2013/01/15 Javascript
javascript的渐进增强与平稳退化浅谈
2013/11/12 Javascript
jQuery回调函数的定义及用法实例
2014/12/23 Javascript
JavaScript基础知识点归纳(推荐)
2016/07/09 Javascript
基于bootstrap的文件上传控件bootstrap fileinput
2016/12/23 Javascript
Vue.js上传图片到阿里云OSS存储的方法示例
2018/12/13 Javascript
微信小程序与webview交互实现支付功能
2019/06/07 Javascript
LayUI动态设置checkbox不显示的解决方法
2019/09/02 Javascript
微信小程序实现星级评价
2019/11/20 Javascript
js实现点击上传图片并设为模糊背景
2020/08/02 Javascript
Python使用修饰器进行异常日志记录操作示例
2019/03/19 Python
python模拟预测一下新型冠状病毒肺炎的数据
2020/02/01 Python
Python3与fastdfs分布式文件系统如何实现交互
2020/06/23 Python
keras topN显示,自编写代码案例
2020/07/03 Python
Python3 pyecharts生成Html文件柱状图及折线图代码实例
2020/09/29 Python
用python爬虫批量下载pdf的实现
2020/12/01 Python
阿联酋航空假期:Emirates Holidays
2018/03/20 全球购物
业务部经理岗位职责
2014/01/04 职场文书
父亲生日宴会答谢词
2014/01/10 职场文书
社区巾帼文明岗事迹材料
2014/06/03 职场文书
销售目标责任书
2014/07/23 职场文书
停车位租赁协议书
2014/09/24 职场文书
2014年安全生产工作总结
2014/11/13 职场文书
司机岗位职责
2015/02/04 职场文书
刑事起诉书范文
2015/05/19 职场文书
领导干部学习三严三实心得体会
2016/01/05 职场文书
什么是动态刷新率DRR? Windows11动态刷新率功能介绍
2021/11/21 数码科技
SpringBoot2零基础到精通之数据库专项精讲
2022/03/22 Java/Android