如何通过雪花算法用Python实现一个简单的发号器


Posted in Python onJuly 03, 2019

实现一个简单的发号器

根据snowflake算法的原理实现一个简单的发号器,产生不重复、自增的id。

1.snowflake算法的简单描述

如何通过雪花算法用Python实现一个简单的发号器

这里的snowflake算法是用二进制的,有64位。其中41位的时间戳表示:当前时间戳减去某个设定的起始时间,10位标识表示:不同的机器、数据库的标识ID等等,序列号为每秒或每毫秒内自增的id。

我做的时候没有用位运算去实现,而是做了一个十进制的,16位的(当时项目要求是16位的)。但是实现发号器的基本策略是一样的,通过时间戳和标识来防止重复,通过序列号实现自增。当然啦,重点不是发号器多少位,而是根据项目的实际情况,利用snowflake算法的原理,实现一个适合自己项目的发号器。

2.Python实现

时间戳:9位,起始时间为2018-01-01 00:00:00 ,时间戳为当前时间减去起始时间。时间戳有9为,可用时间为 999999999/(606024*365)≈31(年)。

标识ID:2位,我用的时候比较简单,只是涉及一个数据库的情况,所以用一张数据表对应一个标识ID,可用100张表。

序列号:5位,我时间戳用的是秒级的,但是5位是10万个序列号,经过测试在一秒内是完全够用的。

所以时间戳、标识ID、序列号的位数也没规定说一定要多少,根据自己项目的实际来即可。

代码如下:

import time
class MySnow:
  def __init__(self,dataID):
    self.start = int(time.mktime(time.strptime('2018-01-01 00:00:00', "%Y-%m-%d %H:%M:%S")))
    self.last = int(time.time())
    self.countID = 0
    self.dataID = dataID  # 数据ID,这个自定义或是映射

  def get_id(self):
    # 时间差部分
    now = int(time.time())
    temp = now-self.start
    if len(str(temp)) < 9: # 时间差不够9位的在前面补0
      length = len(str(temp))
      s = "0" * (9-length)
      temp = s + str(temp)
    if now == self.last:
      self.countID += 1  # 同一时间差,序列号自增
    else:
      self.countID = 0  # 不同时间差,序列号重新置为0
      self.last = now
    # 标识ID部分
    if len(str(self.dataID)) < 2:
      length = len(str(self.dataID))
      s = "0" * (2-length)
      self.dataID = s + str(self.dataID)
    # 自增序列号部分
    if self.countID == 99999: # 序列号自增5位满了,睡眠一秒钟
      time.sleep(1)
    countIDdata = str(self.countID)
    if len(countIDdata) < 5: # 序列号不够5位的在前面补0
      length = len(countIDdata)
      s = "0"*(5-length)
      countIDdata = s + countIDdata
    id = str(temp) + str(self.dataID) + countIDdata
    return id

使用方法:

snow = MySnow(dataID="00")
print(snow.get_id())

其中dataID即为标识ID,countID为自增序列号。dataID可以一个通过自定义的映射表获得,这个视实际的项目情况而定。

3.关于并发

首先,直接用这个发号器是不能进行并发操作,会产生重复的id。如果真的要进行并发,那么就要权衡一下并发和位数的哪个更重要了!

拿实际例子来说吧,比如我并发的目的是为了节省时间,让程序更快的跑完,这时候为了并发,我把dataID中拿出一位来,标识不同的子进程,这样可以防止产生重复的id。但是实际上这用了位数去换取时间,如果是id位数比较少的情况,比如16位的,dataID比较少,我个人认为这样是不值得的,有些奢侈。这时候便是位数比并发重要啦。

当时如果位数充裕,比如20位的,需要并发就并发啦。

还有一种实现并发的方法,就是给发号器加锁,发号的时候加锁,发完了解锁。这个我没有试过,有兴趣的可以试一下哈哈。但是我有个疑惑啊,就是不断加锁和解锁切换,带来的时间和资源开销会不会很大呢。

Python 相关文章推荐
python使用PyGame播放Midi和Mp3文件的方法
Apr 24 Python
Django应用程序中如何发送电子邮件详解
Feb 04 Python
Python跨文件全局变量的实现方法示例
Dec 10 Python
用python实现对比两张图片的不同
Feb 05 Python
python socket网络编程之粘包问题详解
Apr 28 Python
在matplotlib的图中设置中文标签的方法
Dec 13 Python
Python函数返回不定数量的值方法
Jan 22 Python
Python提取支付宝和微信支付二维码的示例代码
Feb 15 Python
在Python中等距取出一个数组其中n个数的实现方式
Nov 27 Python
ubuntu 安装pyqt5和卸载pyQt5的方法
Mar 24 Python
Python多线程操作之互斥锁、递归锁、信号量、事件实例详解
Mar 24 Python
详解Python IO口多路复用
Jun 17 Python
Python实现个人微信号自动监控告警的示例
Jul 03 #Python
python pandas模块基础学习详解
Jul 03 #Python
python将excel转换为csv的代码方法总结
Jul 03 #Python
pandas实现to_sql将DataFrame保存到数据库中
Jul 03 #Python
python实现控制COM口的示例
Jul 03 #Python
python pandas时序处理相关功能详解
Jul 03 #Python
在linux下实现 python 监控usb设备信号
Jul 03 #Python
You might like
PHP递归算法的详细示例分析
2013/02/19 PHP
thinkPHP5.1框架使用SemanticUI实现分页功能示例
2019/08/03 PHP
Javascript this 的一些学习总结
2012/08/31 Javascript
JavaScript如何从listbox里同时删除多个项目
2013/10/12 Javascript
ExtJS4给Combobox设置列表中的默认值示例
2014/05/02 Javascript
js简单实现Select互换数据的方法
2015/08/17 Javascript
jQuery+css3实现转动的正方形效果(附demo源码下载)
2016/01/27 Javascript
Angular.js回顾ng-app和ng-model使用技巧
2016/04/26 Javascript
Js 获取、判断浏览器版本信息的简单方法
2016/08/08 Javascript
微信小程序 loading(加载中提示框)实例
2016/10/28 Javascript
jQuery弹出窗口简单实现代码
2017/03/09 Javascript
解决Vue 浏览器后退无法触发beforeRouteLeave的问题
2017/12/24 Javascript
关于vue中的ajax请求和axios包问题
2018/04/19 Javascript
浅谈ElementUI中switch回调函数change的参数问题
2018/08/24 Javascript
微信小程序实现星级评价
2019/11/20 Javascript
简单了解JavaScript arguement原理及作用
2020/05/28 Javascript
python原始套接字编程示例分享
2014/02/21 Python
详解Python中expandtabs()方法的使用
2015/05/18 Python
Python简单删除目录下文件以及文件夹的方法
2015/05/27 Python
python实现从pdf文件中提取文本,并自动翻译的方法
2018/11/28 Python
20行python代码实现人脸识别
2019/05/05 Python
python config文件的读写操作示例
2019/09/27 Python
python获取linux系统信息的三种方法
2020/10/14 Python
HTML5+JS实现俄罗斯方块原理及具体步骤
2013/11/29 HTML / CSS
用html5绘制折线图的实例代码
2016/03/25 HTML / CSS
泰坦健身器材:Titan Fitness
2018/02/13 全球购物
Ejb技术面试题
2015/04/29 面试题
中职生自我鉴定范文
2013/10/03 职场文书
成人大专自我鉴定范文
2013/10/19 职场文书
中学生差生评语
2014/01/30 职场文书
员工年终考核评语
2014/12/31 职场文书
婚礼父母致辞
2015/07/28 职场文书
学习雷锋主题班会
2015/08/14 职场文书
Go语言-为什么返回值为接口类型,却返回结构体
2021/04/24 Golang
Python自动化之批量处理工作簿和工作表
2021/06/03 Python
python中的mysql数据库LIKE操作符详解
2021/07/01 MySQL