PostgreSQL自增主键的用法以及在mybatis中的使用

Posted 2023-03-29 小码农叔叔

前言

近期，对产品进行数据库由mysql迁移至PostgreSQL过程中，在MySql自增主键到PostgreSQL自增主键的迁移适配中，历经了一点曲折，最终通过跳坑和出坑的过程也算解决了问题，特此记录，给遇到类似的同学做过经验总结。

什么是自增主键？

设置了自增主键时，主键的生成完全依赖数据库，无需人为干预。新增数据的时，开发人员不需要手动设置主键字段的值，数据库就会自动生成一个主键值。

为什么需要自增主键？

• 自增主键可让主键索引保持递增顺序插入，因此避免了页分裂；
• 相较于其他类型（比如varchar），使用自增主键一定程度上更加节省存储开销；
• 应用程序维护较为简单，代码中只需要统一配置，无需手动设置主键值；

一、MySql中自增主键的使用

1、创建一个自增主键的表

create table t_user(
	`id` INT NOT NULL AUTO_INCREMENT COMMENT '主键id',
	`age` INT(11) NOT NULL DEFAULT 10 COMMENT '年龄',
	PRIMARY KEY (`id`)
)

2、SQL插入数据时的写法

insert into t_user(age) values(18)
insert into t_user(age) values(20)

查询一下上述的插入数据

 

3、修改自增主键的起始值

在某些情况下，应用需要ID主键从某个指定的位置开始，或者说大于这个值（比如：预留中间的某个ID范围区间），可以在已知表的基础上使用下面的sql语句调整

alter table t_user auto_increment=10;

然后，再往上面的表插入两条数据

insert into t_user(age) values(24)
insert into t_user(age) values(26)

再次观察效果，可以发现这时候id的起始值就变成了11

 

4、mybatis中自增主键的用法

在mybatis对自增主键的处理上面可以采用下面的方式

    <insert id="addUser" parameterType="com.congge.entity.TUser">
        INSERT INTO t_user
        (age)
        VALUES (
        #age
        )
        <selectKey keyProperty="id" resultType="java.lang.Integer" order="AFTER">
            SELECT LAST_INSERT_ID();
        </selectKey>
    </insert>

补充说明

上述建表的时候，直接通过建表限定了主键自增，也可以在建表之前不指定，而是使用alert语句修改：

alter table t_user modify id integer auto_increment ; 

二、PostgreSQL中自增主键的使用

在PostgreSQL中，自增主键的使用略有差别，在建表的时候通过指定字段类型为serial ，来标识当前字段为自增主键；

PostgreSQL中，可以通过如下两种方式来达到设置一个主键值为递增的序列（mysql同样可以）

前置准备，创建一个普通的PG表

create table t_user(
	id INT NOT NULL ,
	age INT NOT NULL DEFAULT 10,
	PRIMARY KEY (id)
)

方式1：通过手动创建序列达到递增的效果

创建一个自增的序列（类似于mysql中的函数），后续每次需要获取自增主键的时候，调用一下这个序列就可以了。

1、建立自增主键序列

CREATE SEQUENCE 
t_user_id_seq
INCREMENT 1        -- 步长
MINVALUE 1        -- 最小值
MAXVALUE 9999    --最大值
START WITH 1    --起始值
CACHE 1; 

执行一下上面的创建序列方法之后，可以通过下面的sql查询数据库中的所有序列

select * from information_schema.sequences where sequence_schema = 'public';

图中圈起来的即为上面我们刚刚创建的序列值

 

2、调用自增序列方法插入数据

接下来就是要调用序列的相关方法，然后用到插入语句的sql中即可，假如要给上面的t_user表插入数据，可以使用下面的sq操作，

insert into t_user values(
	nextval('t_user_id_seq') , 18
)

insert into t_user values(
	nextval('t_user_id_seq') , 22
)

 

3、自增序列常用方法总结

可以看到，数据正如我们预期的按照主键自增的方式插入进去了，在上面的插入语句中，使用到了nextval这个方法，属于自增序列中默认提供的方法之一，自增序列提供了常见的下面几种方法提供参考

函 数	返 回 类 型	描说明
lastval()	bigint	返回最近一次用 nextval 获取的任意序列的数值
nextval( regclass )	bigint	递增序列并返回新值
currval( regclass )	bigint	获取指定序列最近一次使用netxval后的数值，如果没有使用nextval而直接使用currval会出错。
setval( regclass,bigint ,boolean )	bigint	设置序列的当前数值以及 is_called 标志，如果为true则立即生效，如果为false，则调用一次nextval后才会生效
setval( regclass,bigint )	bigint	设置序列的当前数值

4、设置自增主键默认值

上面提供的方式发现在写insert语句的时候，还需要附加上函数，多少有点繁琐，于是，可以考虑使用下面的方式对ID字段的默认值进行调整；

设置id字段的默认值为nextval('t_user_id_seq')，在上面创建完毕序列的基础上直接添加这一句

alter table 
	t_user 
alter column 
	id  
set default nextval(
	't_user_id_seq'  
);

再次插入数据时候，就直接写成下面这样即可

insert into t_user values(
	23
)
insert into t_user values(
	24
)

查询数据，发现仍然可以成功写进去

 

方式2：通过指定字段为serial类型达到递增的效果

1、使用下面的建表语句

create table t_user(
	id serial NOT NULL ,
	age INT NOT NULL DEFAULT 10,
	PRIMARY KEY (id)
)

2、查看创建的序列

select * from information_schema.sequences where sequence_schema = 'public';

注意，之前创建的序列不会被清理，除非手动调用清理序列的语句，默认情况下，序列的名称为表明+id_seq，由于之前创建过，这里自动再后面拼接了一个seq1，也就是说，id使用serial，PG默认就会为当前这个表附加一个序列；

 

3、插入数据

再次插入数据时，直接像下面这样写就可以了

insert into t_user(age) values(
	23
);
insert into t_user(age) values(
	24
);

仍然可以查出数据，而且id是递增的；

 

4、PG序列在mybatis中的使用

    <insert id="addUser" parameterType="com.congge.entity.TUser">
        INSERT INTO t_user
        (age)
        VALUES (
        #age
        )
        <selectKey keyProperty="id" resultType="java.lang.Integer" order="AFTER">
            SELECT nextval('t_user_id_seq'::regclass) as id
        </selectKey>
    </insert>

三、MySql数据迁移至PostgreSQL关于自增主键的一点建议

实际业务中，可能会先做数据层面的迁移，迁移完成之后，业务上才能正常的使用，但是小编在迁移数据之后，却发现界面上操作报错，报错的主要原因就是主键冲突，为啥会这样呢？

举例来说，mysql中t_user这张表的数据id最大值为99，迁移到pg之后，数据最大值仍为99，这没有毛病，但是切库之后，使用PG自增序列创建数据时，可是从1开始的啊，迁移后，ID为1的这条数据已经存在了，当然会报错了；

这个时候，就需要对迁移后的序列做一下简单的设置了，核心思路如下，可供参考：

• 使用max函数查找当前ID的最大值：select max(id) from t_user;
• 手动调整一下序列的起始值：alter sequence t_user_id_seq restart with 【第一步中的最大值或者加一点】;

mysql自增主键怎么用

导航

• • 自增主键怎么设置
  • MySQL是怎么保存自增主键的
  • 自增主键的修改机制
  • 造成自增主键不连续的几种情形
  • 自增主键和UUID及随机ID比较
  • • 自增主键的好处
    • 自增主键的坏处
    • UUID及随机ID
  • 参考文章

自增主键怎么设置

通常，自增主键的设置如下：

`id` int unsigned NOT NULL AUTO_INCREMENT,

如果设置成这样，则id的取值范围是[0, 2^32 -1],即[0,4294967295].若表的数据量庞大，自增主键超过4294967295时，会报主键冲突异常，导致数据无法插入。
解决办法是，将int 改为bigint。

`id` bigint unsigned NOT NULL AUTO_INCREMENT,

由于bigint为8B，他的unsigned 表示范围大大增加，为[0,2^64 -1],即[0,18446744073709551615] ,这下基本上就不用愁主键被用光了。

MySQL是怎么保存自增主键的

• MyISAM 引擎的自增值保存在数据文件中
• InnoDB 引擎的自增值：
  • 5.7及之前的版本，保存在内存中，没有持久化，每次重启后，第一次打开表的时候，都会去找自增值的最大值 max(id)，然后将 max(id)+1 作为这个表当前的自增值。这样存在的问题是，重启可能会导致自增主键改变。
  • 8.0+版本实现了自增主键的持久化，它将自增值的变更记录在了 redo log 中，重启的时候依靠 redo log 恢复重启之前的值。

自增主键的修改机制

如果字段id被定义为AUTO_INCREMENT，在插入一行数据的时候，自增值的行为如下：

1.如果插入数据时id字段指定为0、null或未指定值，那么就把这个表当前的AUTO_INCREMENT值填到自增字段

2.如果插入数据时id字段指定了具体的值，就直接使用语句里指定的值

假设，某次要插入的值是X，当前的自增值是Y

1.如果X<Y，那么这个表的自增值不变

2.如果X>=Y，就需要把当前自增值修改为新的自增值

新的自增值生成算法是：
从auto_increment_offset（初始值）开始，以auto_increment_increment（步长）为步长，持续叠加，直到找到第一个大于X的值，作为新的自增值

造成自增主键不连续的几种情形

1. 发生事务回滚时。因为每次取自增值都会变化，事务回滚时并不会撤回已经被取走的自增值，因此当发生事务回滚时会发生自增列不连续的情况。
2. 发生唯一键冲突时。发生唯一键冲突之前，首先会获取当前自增值填入自增列，然后由于发生唯一键冲突，导致插入失败，但此时自增值已经发生了变化，会导致不连续。
3. insert…select语句执行时。
   insert…select语句执行时如果插入多行，会批量申请自增值，第一次申请1个，第二次申请2个，第三次申请4个，第N次申请2^(N-1)个。所以如果第N次申请了多个值，但是没有用掉的话，也会造成自增列不连续。

自增主键和UUID及随机ID比较

自增主键的好处

MySQL自增主键的设计可以让主键索引尽量地保持递增顺序插入，避免了页分裂，因此索引更紧凑。这样在执行效率上会相对高于用户自定义的主键。

自增主键的坏处

①：由于自增主键的天然属性，别人一旦爬取你的数据库,就可以根据数据库的自增id获取到你的业务增长信息，很容易估计你的经营情况

②：对于高并发的负载，innodb在按主键进行插入的时候会造成明显的锁争用，主键的上界会成为争抢的热点，因为所有的插入都发生在这里，并发插入会导致间隙锁竞争

③：Auto_Increment锁机制会造成自增锁的抢夺,有一定的性能损失
Auto_increment的锁争抢问题，如果要改善需要调优innodb_autoinc_lock_mode的配置

UUID及随机ID

由于这两者ID的随机性，导致MySQL无法实现像自增主键那样的索引定位及内存分配，因此在性能上及内存利用率上都要略逊一筹。从业务角度考虑，如果表的数据量不算大且对性能没有太大的要求的情况下，选择这两者也是可以的。对比文章参考： 深入分析mysql为什么不推荐使用uuid或者雪花id作为主键

参考文章

MySQL的自增ID(主键) 用完了的解决方法
深入分析mysql为什么不推荐使用uuid或者雪花id作为主键
MySQL自增主键详解