如何在mysql shell命令中执行sql命令行

Posted 2023-03-09

本文介绍 mysql 8.0 shell 子模块 Util 的两个导入特性 importTable/import_table(JS和python 版本的命名差异)、importJson/import_json的使用方法。

其中 import_table 是通过传统 MySQL 协议来通信，Import_json 是通过 X 插件协议来通信。MySQL 一直以来提供导入文件 SQL 命令 load data infile（单线程）以及对应的可执行文件 mysqlimport（多线程）。

比如我导入 100W 行示例数据到表 ytt.tl1，花了 24 秒。这个已经是 MySQL 默认导入来的最快的。分析那我们现在看下 mysqlimport 工具的升级版，mysqlshell 的 util 工具集。

使用这两个工具之前，必须得临时开启 local_infile 选项。1. import_table建立 3306 端口的新连接我这里切换为 python 模式清空掉示例表 Ytt.tl1import_table 有两个参数，第一个参数定义导入文件的路径，第二个定义相关选项，比如导入的格式，并发的数量等。定义文件路径（参数1）定义选项（参数2）执行导入：只花了不到 17 秒，比传统 mysqlimport 快了不少。

我们上面指定了显式指定了字段分隔符，那有没有已经定义好的组合格式呢？ 答案是有的，选项 dialect 可以指定以下格式：csv，tsv，json，csv-unix那么上面的导入，我们可以更简单，改下变量 y_options1 的定义导入时间差不多。这里要说明下，dialect 选项的优先级比较低，比如添加了'linesTerminatedBy':'\\r\\n'， 则覆盖他自己的'\\n'。

选项 diaelect 还有一个可选值为 json，可以直接把 json 结果导入到文档表里。比如我新建一张表 tl1_json重新定义文件以及导入选项。导入 JSON 数据速度也还可以，不到 24 秒。那导入 json 数据，就必须得提到以 X 插件协议通信的工具 import_json了。2. imort_json我们切换到 mysqlx 端口import_json 参数和 Import_table 参数类似，这里我改下选项我在手册上没有看到多线程的选项，所以单线程跑 35 秒慢了些。查看刚刚导入的数据import_json 不仅仅可以导入 Json 数据，更重要的是可以在 BSON 和 JSON 之间平滑的转换，有兴趣的同学可以去 TRY 下。

参考技术A 方案1
mysql -uuser -ppasswd -e"insert LogTable values(...)"

优点：语句简单
缺点：支持的sql相对简单

方案2
准备一个sql脚本，名字为update.sql，例如：
CREATE TABLE `user` (
`id` varchar(36) NOT NULL COMMENT '主键',
`username` varchar(50) NOT NULL COMMENT '用户名',
`password` varchar(50) NOT NULL COMMENT '用户密码',
`createdate` date NOT NULL COMMENT '创建时间',
`age` int(11) NOT NULL COMMENT '年龄',
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='用户信息表';
DROP TABLE IF EXISTS `visit_log`;
CREATE TABLE `visit_log` (
`id` varchar(36) character set utf8 NOT NULL,
`type` int(11) NOT NULL,
`content` text character set utf8 NOT NULL,
`createdate` date NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 COMMENT='访问日志';

新建一个update_mysql.sh，内容如下：
use chbdb;
source update.sql

然后执行如下命令：
cat update_mysql.sh | mysql --user=root -ppassword

优点：支持复杂的sql脚本
缺点：
1> 需要两个文件：update.sql和update_mysql.sh
2> 一旦中间出错，之后脚本就不会执行，例如：
如果第一张表已经存在，则会报出如下异常：
ERROR 1050 (42S01) at line 1 in file: 'update.sql': Table 'user' already exists
然后脚本退出，第二张表也就无法创建。
方案3
新建一个shell脚本，格式如下：
#!/bin/bash
mysql -u* -h* -p* <<EOF
Your SQL script.
EOF

例如：
#!/bin/bash
mysql -uroot -ppassword <<EOF
use chbdb;
CREATE TABLE user (
id varchar(36) NOT NULL COMMENT '主键',
username varchar(50) NOT NULL COMMENT '用户名',
password varchar(50) NOT NULL COMMENT '用户密码',
createdate date NOT NULL COMMENT '创建时间',
age int(11) NOT NULL COMMENT '年龄',
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='用户信息表';

优点：
1>支持复杂的sql脚本
2>无需其它额外文件
缺点：
1> 表名、字段不能使用单引号，需要修改原有sql语句
2> 一旦中间出错，之后脚本就不会执行，例如：
如果第一张表已经存在，则会报出如下异常：
ERROR 1050 (42S01) at line 1 in file: 'update.sql': Table 'user' already exists
然后脚本退出，第二张表也就无法创建。
方案4
准备一个sql脚本，如update.sql，然后执行如下命令：
mysql -uroot -ppassword < update.sql

优点：支持复杂的sql脚本
缺点：
1> 一旦中间出错，之后脚本就不会执行，例如：
如果第一张表已经存在，则会报出如下异常：
ERROR 1050 (42S01) at line 1 in file: 'update.sql': Table 'user' already exists
然后脚本退出，第二张表也就无法创建。