Mysql迁移达梦数据库踩坑历险记

Posted 2023-04-06 屿丶斐然

一、前景概述

       随着国外对我国的不断制裁、打压，我们不论是芯片制造还是设计软件方方面面都受到国外的牵制，因此，国产化的趋势势在必行。最近公司项目组要求将系统中的mysql数据库迁移到国产达梦数据库（DM8），本博客主要记录在MySQL到DM的数据迁移过程以及适配DM过程中踩到的坑。

二、踩坑记录

2.1 迁移表和数据

2.1.1 准备工作

1. 开启大小写不敏感
          DM开启大小写不敏感，如果不开启就会有非常多的麻烦，导致适配的工作量变大。例如，SQL语句中表名需要用双引号括起来，否则运行的时候就会提示找不到表名，这就要在适配过程中需要把每个表名用双引号括起来，工作量可想而知。大小写不敏感开启在我的另一篇博文《手把手教你在windows下安装达梦数据库》，https://blog.csdn.net/weixin_40484820/article/details/127410841
2. 开启DM兼容MySQL
          MySQL和DM在一些函数和个别的语法上使用有差异，因此，很有必要开启DM兼容MySQL的配置，这样适配的工作量又可以减少了。

• 打开DM控制台工具
  
• 选中数据库实例，找到COMPATIBLE_MODE属性：
  
  对于该属性的说明：是否兼容其他数据库模式。0:不兼容,1:兼容SQL92标准,2:兼容ORACLE,3:兼容MS SQL SERVER,4:兼容MYSQL；我们将其设置成4，变成兼容MySQL模式，保存后重启实例。
• 重启实例
  
  重新启动这两个服务
  

2.1.2 迁移过程

       DM有自带的迁移工具，我们打开迁移工具把MySQL的表和数据迁移到DM中。

1. 首先在DM中建好用户名和表空间，打开DM管理工具，执行以下SQL:

--建立表空间
CREATE TABLESPACE  "DEMO" DATAFILE 'DEMO.DBF' SIZE 300 autoextend on maxsize 67108863 CACHE = NORMAL;
--建立用户名和密码并指定表空间
CREATE USER "DEMO" IDENTIFIED BY "DEMO@2022" LIMIT PASSWORD_LOCK_TIME 1, PASSWORD_GRACE_TIME 10 DEFAULT TABLESPACE "DEMO";
--给用户授权
GRANT "RESOURCE","PUBLIC","DBA","VTI" TO "DEMO";

2. 打开DM迁移工具：
   
3. 选择迁移→新建迁移
   
4. 填写迁移名称和描述，点击确定
   
5. 点击下一步
   
6. 迁移方式我们选择MySQL==> DM
   
7. 填写MySQL数据库信息，点击下一步
   
8. 填写DM数据库信息，点击下一步

9. 勾选保持对象名大小写，下一步

10. 反选选择所有表，当然也可以根据具体情况选择要迁移的表，下一步

11. 点击完成开始迁移

2.1.3 迁移遇到问题及解决方案

1. 错误一：记录超长
   

• 原因分析：这是由于mysql表中的varchar长度超过了DM支持的最长长度（DM最长为8188）。
• 解决方法：将错误的表开启超长记录，在DM管理工具中鼠标右键表→存储选项→启用超长记录
  

2. 错误二：表中已存在这样的唯一关键字或主键
   

• 错误原因：这个错误可能是DM迁移工具的问题，打开迁移后的表和MySQL中的表对比发现结构和数据都是一样的
• 解决方法：忽略就行

3. 错误三：违反表唯一性约束
   

• 错误原因：这是由于重新迁移表造成的
• 解决方法：删除DM中的表再迁移

2.2 语法适配

2.2.1 单双引号

       达梦数据库对单双引号有着严格的规定，在执行SQL语句的时候，字符串常量应使用单引号括起，关键字、对象名、字段名、别名等则使用双引号括起。而MySQL中则没有严格的规定，在适配过程中MySQL SQL语句中的单双引号严格按照DM的规定修改。例如：

上图SQL中全部使用了单引号，在MySQL中能正常执行，但在DM中则会报错，修改后为：

2.2.2 查询结果大小写

       如果项目中使用了Mybatis作为持久层，使用DM作为数据库且select的返回结果使用map接收数据，那么返回的字段一律变成大写，这就会造成前后端无法读取到字段信息从而报错。有两种方式可以解决，第一，写一个实体类接收返回的结果；第二，使用resultMap来接收结果，再将字段映射成需要的大小写。这里选用第二种方式，具体修改如下：

2.2.3 达梦数据库不支持LAST_INSERT_ID()

在MySQL里新增数据，需要返回刚新增数据的自增主键值，在Mybatis里按如下写法：

<selectKey resultType="java.lang.Long" keyProperty="id" order="AFTER">
          select LAST_INSERT_ID()
</selectKey>

达梦数据库不支持上述写法，解决办法：

• 在达梦数据库中创建序列

CREATE SEQUENCE config_id_seq INCREMENT BY 1 START WITH 1

• 将Mybatis里的写法换成

<selectKey keyColumn="id" resultType="long" keyProperty="id" order="BEFORE">
   SELECT  config_id_seq.nextval as id from dual
</selectKey>

2.2.4 MySQL表字段与达梦数据库关键字冲突

       MySQL里的表字段，取的名字正好是达梦数据的关键字，那么在达梦数据库里使用时，会报错，例如comment是达梦数据库的关键字，MySQL里有表的字段取了comment，在Mybatis里执行包含comment的查询，新增等语句时会报错，下面这个语句就会报错，因为包含comment

<insert id="insert" parameterType="com.casic.ETL.entity.EtlWholeDBMigrate">
  insert into etl_whole_db_migrate (task_id, task_name, src_ds_id,
  tgt_ds_id, task_type, task_cron,comment)
  values (#taskId,
  #taskName,
  #srcDsId,
  #tgtDsId, 
  #taskType,   
  #taskCron,
  #comment)
</insert>

解决办法：将名字为关键字的表字段换个名字，然后把xml里的sql语句相关字段名字都换了

2.2.5 达梦数据库不支持某些Mybatis字符串的拼接写法

Mybatis里"%“#name”%"这种写法达梦数据库会报错
解决办法：使用函数CONCAT(‘%’,#name,‘%’)，双引号变成单引号

2.2.6 达梦数据库group by写法

DMDB库中：group by后面必须加上SELECT后面所查询的所有除聚合函数之外的所有字段，而MySQL则不用，只需要加上需要分组的字段即可。
补充SQL基本关键词书写顺序规则：select==》from==》where==》group by==》having==》order by

2.2.7 达梦数据库不支持对自增列值赋值

如果直接对达梦数据库的自增列进行赋值会报错：

解决方法：在insert语句执行之前加上set IDENTITY_INSERT TEST.TABLE_1 ON; 记得两个执行语句末尾加上分号。

2.2.8 DISTINCT

• 达梦数据库在使用DISTINCT关键词去重时，查询字段包含大文本时，无法进行内容比较
• 解决办法：删除原来的表，新建一张和原来的表一模一样的表，只是大字段text改为varchar即可

三、总结

       MySQL和达梦在语法上还是有较多的差异，不过DM可以开启兼容MySQL模式，开启兼容模式后，兼容90%以上，大大减少了适配的工作。不过这只是针对原系统只使用MySQL的情况下，如果原系统使用多个数据库就不能这么操作了。另外，DM不开启大小写敏感的选项也能减少适配的工作量。好了，本期的博文就说到这里，希望可以帮助到大家，如果有什么错误，还请各位大佬多多指正。

数据库迁移之mysql到达梦数据库

1 背景介绍

由于业务需求要求数据库国产化，因此将数据从mysql数据库中迁移到国产达梦数据库中。将mysql中的每个库迁移到达梦不同模式下，下面为详细过程。

2 具体步骤

（1）安装达梦客户端工具

（2）点击选择DM管理工具

（3）创建模式和用户

在用户菜单中，新建一个TEST模式以及相应的用户。

（4）打开DM迁移工具

（5）创建工程

在DM迁移工具中右键空白处，创建一个名为mysql的工程

（6）创建迁移任务

点击新建的mysql工程，右键迁移，新建迁移任务mysqltransfer

（7）配置mysql源

依次添入mysql的ip、port、用户名和密码。

（8）配置达梦数据库信息

依次添入达梦数据的ip、port、用户名和密码，此时选择TEST用户。

选择目的模式为TEST模式，点击下一步

选择全部数据库表，点击下一步

（9）执行迁移任务

点击完成按钮，开始数据库迁移。由于mysql和达梦数据的数据类型不完全一致，可能导致迁移失败，将生成日志，可根据日志修改相应问题。

（10）迁移中的常见问题

关于TIMESTAMP的时间类型
mysql可以设置为ON UPDATE CURRENT_TIMESTAMP该类型时，更新该条数据该字段可以自动刷新；
达梦数据库没有ON UPDATE CURRENT_TIMESTAMP类型，但是可以创建触发器来完成类似操作，mysql的底层应该也是采取的触发器实现此时间类型。
涉及到geometry类型

1. 达梦数据库中第一次使用geometry类型需要执行几何初始化，否则在设置字段为geometry类型会报错，无效的数据类型。
   几何初始化步骤：

• 以数据库管理员身份登录 SQL 客户端，然后使用下列命令对几何类型进行初始化：
• SP_INIT_GEO_SYS(1);
• 通过发出下列 SQL 命令确认几何类型已初始化：SELECT SF_CHECK_GEO_SYS;
• 如果几何类型已初始化，则命令将返回以下内容：

LINEID	SF_CHECK_GEO_SYS
1	1

2. 达梦数据的geometry类型为st_geometry，建表填写类型时需填写st_geometry
3. 当从mysql导出的表数据中包含geometry类型时，系统会导出为ST_GeomFromText(字段)的格式，在导入到达梦数据库中时，需要修改为DMGEO.ST_GEOMFROMTEXT(字段,0)

关于中文字符的问题
LENGTH_IN_CHAR=0 varchar以字节数为单位，gb18030 的一个汉字是两个字节，utf-8 的一个汉字一般是三个字节
LENGTH_IN_CHAR=1 varchar存储的字节数将会按照一定比例扩展， gb18030 时 varchar 的字节数等于定义长度 *2，字符集为 utf-8 时 varchar 的字节数为定义长度 *4
当发现导入数据存在超出字符范围时，可适当修改字段长度

表字段类型修改
由于达梦中没有longtext，JSON类型，因此需要将longtext改为LONGVARCHAR，JSON类型改为 varchar，varchar2，char，clob等作为存储字段的数据类型。

数据库出现锁超时
查出存在锁的session

select a.*,b.NAME,c.SESS_ID from v$lock a
left join sysobjects b on b.ID=a.TABLE_ID
left join v$sessions c on a.TRX_ID=c.TRX_ID;

根据session_id关闭对应的锁

sp_close_session(sess_id);