场景应用：id全局唯一且自增，如何实现？

Posted 2022-09-01 流楚丶格念

文章目录

• id全局唯一且自增，如何实现？
• 需求特点
• 实现方案
• • 1、数据库的 auto_increment
  • • 优缺点
    • 进行优化：分库分表
  • 2、UUID
  • • 生成规则
    • 优缺点
    • 进行优化：
  • 3、雪花（SnowFlake）算法
  • • snowflflake id生成规则
    • 优缺点

id全局唯一且自增，如何实现？

系统唯一id是我们在设计阶段常常遇到的问题。在复杂的分布式系统中，几乎都需要对大量的数据和消息进行唯一标识。在设计初期，我们需要考虑日后数据量的级别，如果可能会对数据进行分库分表，那么就需要有一个全局唯一id来标识一条数据或记录。生成唯一id的策略有多种，但是每种策略都有它的适用场景、优点以及局限性。

需求特点

id一般是数据库的主键，数据库上会建立聚集索引，即在物理存储上以这个字段排序。这个记录标识上的查询往往又有分页或者排序的业务需求，如果再增加一个time字段以其建立普通索引则访问效率低（因为普通索引存储的是实际记录的指针）。如果ID在生成时就能基本保证时间有序，则可以省去这个字段。

故这个ID一般具有以下特点：

• 全局唯一性：不能出现重复的ID号，既然是唯一标识，这是最基本的要求
• 趋势递增：在mysql的InnoDB引擎中使用的是聚集索引，由于多数RDBMS使用B-tree的数据结构来存储索引数据，在主键的选择上面我们应该尽量使用有序的主键保证写入性能
• 单调递增：保证下一个ID一定大于上一个ID，例如事务版本号、IM增量消息、排序等特殊需求
• 信息安全：如果ID是连续的，恶意用户的扒取工作就非常容易做了，直接按照顺序下载指定URL即可；如果是订单号就更危险了，竞对可以直接知道我们一天的单量。所以在一些应用场景下需要ID无规则
• 高可用性：同时除了对ID号码自身的要求，业务还对ID号生成系统的可用性要求极高，想象一下，如果ID生成系统瘫痪，这就会带来一场灾难。所以不能有单点故障
• 分片支持：可以控制ShardingId。比如某一个用户的文章要放在同一个分片内，这样查询效率高，修改也容易
• 长度适中

实现方案

1、数据库的 auto_increment

这个不用多说，使用数据库自带的字段自增功能

优缺点

优点

• 非常简单。利用现有数据库系统的功能实现，成本小，代码简单，性能可以接受。ID号单调递增。可以实现一些对ID有特殊要求的业务，比如对分页或者排序结果这类需求有帮助

缺点

• 强依赖DB。不同数据库语法和实现不同，数据库迁移的时候、多数据库版本支持的时候、或分表分库的时候需要处理，会比较麻烦。当DB异常时整个系统不可用，属于致命问题。
• 单点故障。在单个数据库或读写分离或一主多从的情况下，只有一个主库可以生成。有单点故障的风险。
• 数据一致性问题。配置主从复制可以尽可能的增加可用性，但是数据一致性在特殊情况下难以保证。主从切换时的不一致可能会导致重复发号。
• 难于扩展。在性能达不到要求的情况下，比较难于扩展。ID发号性能瓶颈限制在单台MySQL的读写性能。

进行优化：分库分表

冗余主库，避免写入单点数据水平切分，保证各主库生成的ID不重复（由1个写库变成3个写库，每个写库设置不同的 auto_increment 初始值，以及相同的增长步长）。

改进后的架构保证了可用性但数据库的写压力依然很大，每次生成ID都要访问数据库，而且丧失了ID生成的“绝对递增性”：先访问DB 01生成0,3，再访问DB 02生成1，可能导致在非常短的时间内，ID生成不是绝对递增的（这个问题不大，目标是趋势递增，不是绝对递增）

2、UUID

uuid是一种常见的本地生成ID的方法，利用程序生成，减少耗时。（不管是通过数据库，还是通过服务来生成ID，业务方Application都需要进行一次远程调用，比较耗时）

UUID () 的目的，是让分布式系统中的所有元素，都能有唯一的辨识资讯，而不需要透过中央控制端来做辨识资讯的指定。如此一来，每个人都可以建立不与其它人冲突的 UUID。在这样的情况下，就不需考虑数据库建立时的名称重复问题。

生成规则

UUID的标准形式包含32个16进制数字，以连字号分为五段，形式为8-4-4-4-12的36个字符，示例：550e8400-e29b-41d4-a716-446655440000，到目前为止业界一共有5种方式生成UUID。

例如 Java中：

UUID uuid = UUID.randomUUID();
System.out.println(uuid);

运行结果如下：

优缺点

优点

• 非常简单，本地生成，代码方便，API调用方便。
• 性能高。生成的id性能非常好，没有网络消耗，基本不会有性能问题。
• 全球唯一。在数据库迁移、系统数据合并、或者数据库变更的情况下，可以 从容应对。

缺点

• 存储成本高：UUID太长，16字节128位，通常以36长度的字符串表示，很多场景不适用。如果是海量数据库，就需要考虑存储量的问题。
• 信息不安全：基于MAC地址生成UUID的算法可能会造成MAC地址泄露，这个漏洞曾被用于寻找梅丽莎病毒的制作者位置。
  不适用作为主键：ID作为主键时在特定的环境会存在一些问题，比如做DB主键的场景下，UUID就非常不适用。UUID往往是使用字符串存储，查询的效率比较低。
• UUID是无序的：不是单调递增的，而现阶段主流的数据库主键索引都是选用的B+树索引，对于无序长度过长的主键插入效率比较低。
• 传输数据量大
• 不可读

进行优化：

为了解决UUID不可读， 可以使用UUID to Int64的方法 。
为了解决UUID无序的问题， NHibernate在其主键生成方式中提供了Comb算法（combined guid/timestamp）。保留GUID的10个字节，用另6个字节表示GUID生成的时间（DateTime）。

3、雪花（SnowFlake）算法

雪花ID生成的是一个64位的二进制正整数，然后转换成10进制的数。64位二进制数由如下部分组成：

snowflflake id生成规则

成员部分	说明
1位标识符	始终是0，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0。
41位时间戳	41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截 )得到的值，这里的的开始时间截，一般是我们的id生成器开始使用的时间，由我们程序来指定的。
10位机器标识码	可以部署在1024个节点，如果机器分机房（IDC）部署，这10位可以由 5位机房ID + 5位机器ID 组成。
12位序列	毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个ID序号

优缺点

优点

• 简单高效，生成速度快。
• 时间戳在高位，自增序列在低位，整个ID是趋势递增的，按照时间有序递增。
• 灵活度高，可以根据业务需求，调整bit位的划分，满足不同的需求。

缺点

• 依赖机器的时钟，如果服务器时钟回拨，会导致重复ID生成。
• 在分布式环境上，每个服务器的时钟不可能完全同步，有时会出现不是全局递增的情况。