基于python实现雪花算法过程详解

2023-08-08 18:39:04 73

这篇文章主要介绍了基于python实现雪花算法过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

Snowflake是Twitter提出来的一个算法，其目的是生成一个64bit的整数:

1bit:一般是符号位，不做处理
41bit:用来记录时间戳，这里可以记录69年，如果设置好起始时间比如今年是2018年，那么可以用到2089年，到时候怎么办？要是这个系统能用69年，我相信这个系统早都重构了好多次了。
10bit:10bit用来记录机器ID，总共可以记录1024台机器，一般用前5位代表数据中心，后面5位是某个数据中心的机器ID
12bit:循环位，用来对同一个毫秒之内产生不同的ID，12位可以最多记录4095个，也就是在同一个机器同一毫秒最多记录4095个，多余的需要进行等待下毫秒。

上面只是一个将64bit划分的标准，当然也不一定这么做，可以根据不同业务的具体场景来划分，比如下面给出一个业务场景：

服务目前QPS10万，预计几年之内会发展到百万。
当前机器三地部署，上海，北京，深圳都有。
当前机器10台左右，预计未来会增加至百台。
这个时候我们根据上面的场景可以再次合理的划分62bit,QPS几年之内会发展到百万，那么每毫秒就是千级的请求，目前10台机器那么每台机器承担百级的请求，为了保证扩展，后面的循环位可以限制到1024，也就是2^10，那么循环位10位就足够了。

机器三地部署我们可以用3bit总共8来表示机房位置，当前的机器10台，为了保证扩展到百台那么可以用7bit128来表示，时间位依然是41bit,那么还剩下64-10-3-7-41-1=2bit,还剩下2bit可以用来进行扩展。

时钟回拨

因为机器的原因会发生时间回拨，我们的雪花算法是强依赖我们的时间的，如果时间发生回拨，有可能会生成重复的ID，在我们上面的nextId中我们用当前时间和上一次的时间进行判断，如果当前时间小于上一次的时间那么肯定是发生了回拨，算法会直接抛出异常.

#Twitter'sSnowflakealgorithmimplementationwhichisusedtogeneratedistributedIDs.
#https://github.com/twitter-archive/snowflake/blob/snowflake-2010/src/main/scala/com/twitter/service/snowflake/IdWorker.scala

importtime
importlogging

from.exceptionsimportInvalidSystemClock


#64位ID的划分
WORKER_ID_BITS=5
DATACENTER_ID_BITS=5
SEQUENCE_BITS=12

#最大取值计算
MAX_WORKER_ID=-1^(-1<MAX_WORKER_IDorworker_id<0:
raiseValueError('worker_id值越界')

ifdatacenter_id>MAX_DATACENTER_IDordatacenter_id<0:
raiseValueError('datacenter_id值越界')

self.worker_id=worker_id
self.datacenter_id=datacenter_id
self.sequence=sequence

self.last_timestamp=-1#上次计算的时间戳

def_gen_timestamp(self):
"""
生成整数时间戳
:return:inttimestamp
"""
returnint(time.time()*1000)

defget_id(self):
"""
获取新ID
:return:
"""
timestamp=self._gen_timestamp()

#时钟回拨
iftimestamp
同文件夹下建立exceptions.py
classInvalidSystemClock(Exception):
"""
时钟回拨异常
"""
pass
配置文件中添加,对应的是机器ID和序列号
#SnowflakeIDWorker参数
DATACENTER_ID=0
WORKER_ID=0
SEQUENCE=0
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

基于python实现雪花算法过程详解

热门推荐

随机推荐