自动将所有mysql表转储到单独的文件中？

Posted

技术标签:

【中文标题】自动将所有mysql表转储到单独的文件中？【英文标题】：dump all mysql tables into separate files automatically? 【发布时间】：2011-04-09 19:22:05 【问题描述】：

我想将每个 mysql 表转储到单独的文件中。手册指出这个的语法是 

mysqldump [options] db_name [tbl_name ...]

这表明您事先知道表名。我现在可以设置知道每个表名称的脚本，但是假设我在路上添加了一个新表并且忘记更新转储脚本。然后我缺少一张或多张桌子的转储。

有没有办法自动将每个现有表转储到单独的文件中？还是我必须做一些脚本？查询数据库，获取所有表名，并按名称转储。

如果我走 script-fu 路线，哪些脚本语言可以访问 mysql 数据库？

【问题讨论】：

【参考方案1】：

这是一个将表数据作为 SQL 命令转储到单独的压缩文件中的脚本。它不需要在 MySQL 服务器主机上，不需要在脚本中硬编码密码，并且只针对特定数据库，而不是服务器上的所有数据库：

#!/bin/bash

# dump-tables-mysql.sh
# Descr: Dump MySQL table data into separate SQL files for a specified database.
# Usage: Run without args for usage info.
# Author: @Trutane
# Ref: http://***.com/q/3669121/138325
# Notes:
#  * Script will prompt for password for db access.
#  * Output files are compressed and saved in the current working dir, unless DIR is
#    specified on command-line.

[ $# -lt 3 ] && echo "Usage: $(basename $0) <DB_HOST> <DB_USER> <DB_NAME> [<DIR>]" && exit 1

DB_host=$1
DB_user=$2
DB=$3
DIR=$4

[ -n "$DIR" ] || DIR=.
test -d $DIR || mkdir -p $DIR

echo -n "DB password: "
read -s DB_pass
echo
echo "Dumping tables into separate SQL command files for database '$DB' into dir=$DIR"

tbl_count=0

for t in $(mysql -NBA -h $DB_host -u $DB_user -p$DB_pass -D $DB -e 'show tables') 
do 
    echo "DUMPING TABLE: $DB.$t"
    mysqldump -h $DB_host -u $DB_user -p$DB_pass $DB $t | gzip > $DIR/$DB.$t.sql.gz
    tbl_count=$(( tbl_count + 1 ))
done

echo "$tbl_count tables dumped from database '$DB' into dir=$DIR"

【讨论】：

最好的解决方案 imo... 我正在使用此脚本的修改版本，它允许将密码作为 env 变量传递。如果有人需要这个功能：sprunge.us/fBDL?bash 我也是最好的解决方案：+ mysqldump --extended-insert=FALSE -u "$mysql_user" -p"$mysql_user_pw" "$db" $t \ | gzip > "$tables_dump_dir/$t.sql.gz" 有点慢，但适用于任何数据和任何行数据长度... 谢谢！我用你的想法生成了一个备份所有数据库的备份脚本：github.com/rubo77/mysql-backup.sh/blob/master/mysql-backup.sh 不幸的是，这不能作为单个事务完成，因此您不一定会得到一系列可以重新加载而不会出现任何 FK 错误的文件。 可能您想添加更多参数，例如mysqldump --extended-insert=FALSE --order-by-primary --complete-insert【参考方案2】：

mysqldump 命令行程序会为您执行此操作 - 尽管the docs 对此非常不清楚。

需要注意的一点是 ~/output/dir 必须是拥有 mysqld 的用户可写的。在 Mac OS X 上：

sudo chown -R _mysqld:_mysqld ~/output/dir
mysqldump --user=dbuser --password --tab=~/output/dir dbname

运行上述程序后，您将拥有一个包含每个表的架构（创建表语句）的 tablename.sql 文件和包含数据的 tablename.txt 文件。

如果您想要仅包含架构的转储，请添加 --no-data 标志：

mysqldump --user=dbuser --password --no-data --tab=~/output/dir dbname

【讨论】：

好吧，我真的希望表数据转储也是 SQL 插入：Þ mysqlimport 可用于导入生成的数据txt文件。此外，任何包含句点 (.) 的表名，例如：my.table 只会产生同名的数据文件（不带 .txt 扩展名）。 dev.mysql.com/doc/refman/5.0/en/… 此外，这似乎是每个文件转储执行--single-transaction 表的唯一方法。 请注意，此解决方案需要服务器上的FILE 权限，并且会将文件写入服务器上的磁盘。 --tab 不生成插入，如果你想手动加入两台机器上的数据库，例如【参考方案3】：

您可以通过以下方式完成此操作：

    获取mysql中的数据库列表 使用mysqldump 转储每个数据库 
# Optional variables for a backup script
MYSQL_USER="root"
MYSQL_PASS="something"
BACKUP_DIR=/srv/backup/$(date +%Y-%m-%dT%H_%M_%S);
test -d "$BACKUP_DIR" || mkdir -p "$BACKUP_DIR"
# Get the database list, exclude information_schema
for db in $(mysql -B -s -u $MYSQL_USER --password=$MYSQL_PASS -e 'show databases' | grep -v information_schema)
do
  # dump each database in a separate file
  mysqldump -u $MYSQL_USER --password=$MYSQL_PASS "$db" | gzip > "$BACKUP_DIR/$db.sql.gz"
done

【讨论】：

@IgorLadela 我在 "$db" 周围添加了引号，试试看。 问题是关于将每个 表 放在单独的文件中，而不是将每个数据库放在单独的文件中。 不完全是被质疑的内容，而是正是我正在寻找的内容:-) 不捕获触发器和存储过程，不是每表转储。 只需添加--routines 和--triggers 即可捕获过程和触发器。【参考方案4】：

这里是对应的导入。

#!/bin/bash

# import-files-mysql.sh
# Descr: Import separate SQL files for a specified database.
# Usage: Run without args for usage info.
# Author: Will Rubel
# Notes:
#  * Script will prompt for password for db access.

[ $# -lt 3 ] && echo "Usage: $(basename $0) <DB_HOST> <DB_USER> <DB_NAME> [<DIR>]" && exit 1

DB_host=$1
DB_user=$2
DB=$3
DIR=$4

DIR=$DIR/*


echo -n "DB password: "
read -s DB_pass
echo
echo "Importing separate SQL command files for database '$DB' into '$DB'"

file_count=0


for f in $DIR

do 
    echo "IMPORTING FILE: $f"

    gunzip -c $f | mysql -h $DB_host -u $DB_user -p$DB_pass $DB

    (( file_count++ ))
done

echo "$file_count files importing to database '$DB'"

【讨论】：

不要只是代码转储；请提供一些关于代码的作用的解释。 这里是如何使用它： ./import-files-mysql.sh host_name dbname db ./ ，我假设你所有的gz文件都在当前文件夹中，请相应地替换你的db登录信息，脚本会在命令后提示你输入密码。【参考方案5】：

看起来这里的每个人都忘记了autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;，这是为了加快导入过程......

#!/bin/bash
MYSQL_USER="USER"
MYSQL_PASS="PASS"

if [ -z "$1" ]
  then
    echo "Dumping all DB ... in separate files"
    for I in $(mysql -u $MYSQL_USER --password=$MYSQL_PASS -e 'show databases' -s --skip-column-names); 
    do 
      echo "SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;" > "$I.sql"
      mysqldump -u $MYSQL_USER --password=$MYSQL_PASS $I >> "$I.sql"; 
      echo "SET autocommit=1;SET unique_checks=1;SET foreign_key_checks=1;commit;" >> "$I.sql"
      gzip "$I.sql"
    done
    echo "END."
else
      echo "Dumping $1 ..."
      echo "SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;" > "$1.sql"
      mysqldump -u $MYSQL_USER --password=$MYSQL_PASS $1 >> "$1.sql"; 
      echo "SET autocommit=1;SET unique_checks=1;SET foreign_key_checks=1;commit;" >> "$1.sql"
      gzip "$1.sql"
fi

【讨论】：

【参考方案6】： 
#!/bin/bash

for i in $(mysql -uUser -pPASSWORD DATABASE -e "show tables;"|grep -v Tables_in_);do mysqldump -uUSER -pPASSWORD DATABASE $i > /backup/dir/$i".sql";done

tar -cjf "backup_mysql_"$(date +'%Y%m%d')".tar.bz2" /backup/dir/*.sql

【讨论】：

添加 -B 键以无边框的非表格输出格式打印表格【参考方案7】：

如果您想转储所有数据库中的所有表，只需结合 Elias Torres Arroyo 和 Trutane 的回答： 如果您不想在终端上提供您的密码，只需将您的密码存储在一个额外的配置文件中（chmod 0600） - 参见Mysqldump launched by cron and password security

#!/bin/bash

# this file
# a) gets all databases from mysql
# b) gets all tables from all databases in a)
# c) creates subfolders for every database in a)
# d) dumps every table from b) in a single file

    # this is a mixture of scripts from Trutane (http://***.com/q/3669121/138325) 
    # and Elias Torres Arroyo (https://***.com/a/14711298/8398149)

# usage: 
# sk-db.bash parameters
# where pararmeters are:

# d "dbs to leave"
# t " tables to leave"
# u "user who connects to database"
# h "db host"
# f "/backup/folder"



user='root'
host='localhost'
backup_folder=''
leave_dbs=(information_schema mysql)
leave_tables=()
while getopts ":d:t:u:h:f:" opt; do
  case $opt in
    d) leave_dbs=( $OPTARG )
    ;;
    t) leave_tables=( $OPTARG )
    ;;
    u) user=$OPTARG
    ;;
    h) host=$OPTARG
    ;;
    f) backup_folder=$OPTARG
    ;;

    \?) echo "Invalid option -$OPTARG" >&2
    ;;
  esac
done
echo '****************************************'
echo "Database Backup with these options"
echo "Host $host"
echo "User $user"
echo "Backup in $backup_folder"
echo '----------------------------------------'
echo "Databases to emit:"
printf "%s\n" "$leave_dbs[@]"
echo '----------------------------------------'
echo "Tables to emit:"
printf "%s\n" "$leave_tables[@]"
echo '----------------------------------------'


BACKUP_DIR=$backup_folder/$(date +%Y-%m-%dT%H_%M_%S);
CONFIG_FILE=/root/db-config.cnf

function contains() 
    local n=$#
    local value=$!n
    for ((i=1;i < $#;i++)) 
        if [ "$!i" == "$value" ]; then
            echo "y"
            return 0
        fi
    
    echo "n"
    return 1



test -d "$BACKUP_DIR" || mkdir -p "$BACKUP_DIR"
# Get the database list, exclude information_schema
database_count=0
tbl_count=0

for db in $(mysql --defaults-extra-file=$CONFIG_FILE -B -s -u $user -e 'show databases' )
do
    if [ $(contains "$leave_dbs[@]" "$db") == "y" ]; then
        echo "leave database $db as requested"
    else

       # dump each database in a separate file
       (( database_count++ ))
       DIR=$BACKUP_DIR/$db
       [ -n "$DIR" ] || DIR=.

       test -d $DIR || mkdir -p $DIR

       echo
       echo "Dumping tables into separate SQL command files for database '$db' into dir=$DIR"

       for t in $(mysql --defaults-extra-file=$CONFIG_FILE -NBA -h $host -u $user -D $db -e 'show tables')
       do
           if [ $(contains "$leave_tables[@]" "$db.$t") == "y" ]; then
               echo "leave table $db.$t as requested"
           else
               echo "DUMPING TABLE: $db.$t"
  #            mysqldump --defaults-extra-file=$CONFIG_FILE -h $host -u $user $db $t  > $DIR/$db.$t.sql
               tbl_count=$(( tbl_count + 1 ))
           fi
       done

       echo "Database $db is finished"
       echo '----------------------------------------'

    fi
done
echo '----------------------------------------'
echo "Backup completed"
echo '**********************************************'

而且，这也有帮助：

Check if bash array contains value

arrays in bash

named arguments in script

【讨论】：

【参考方案8】：

我不是 bash 大师，但我只是使用 bash 脚本来完成。在不使用 MySQL 的情况下，只要知道数据目录和数据库名称，您就可以扫描所有 .frm 文件（该 db/目录中的每个表一个）以获取表列表。

我确信有办法让它更流畅并接受参数或诸如此类的东西，但这对我来说效果很好。

tables_in_a_db_to_sql.sh

#!/bin/bash

database="this_is_my_database"
datadir="/var/lib/mysql/"
datadir_escaped="\/var\/lib\/mysql\/"

all_tables=($(ls $datadir$database/*.frm | sed s/"$datadir_escaped$database\/"/""/g | sed s/.frm//g))

for t in "$all_tables[@]"; do
        outfile=$database.$t.sql
        echo "-- backing up $t to $outfile"
        echo "mysqldump [options] $database $t > $outfile"
        # mysqldump [options] $database $t > $outfile
done

根据需要填写 [options] 和所需的 outfile 约定，并取消注释最后一个 mysqldump 行。

【讨论】：

此代码在我运行时显示此错误消息：语法错误：“（”意外（可能是其行号：9）。任何建议【参考方案9】：

对于 Windows 服务器，您可以像这样使用批处理文件：

set year=%DATE:~10,4%
set day=%DATE:~7,2%
set mnt=%DATE:~4,2%
set hr=%TIME:~0,2%
set min=%TIME:~3,2%

IF %day% LSS 10 SET day=0%day:~1,1%
IF %mnt% LSS 10 SET mnt=0%mnt:~1,1%
IF %hr% LSS 10 SET hr=0%hr:~1,1%
IF %min% LSS 10 SET min=0%min:~1,1%

set backuptime=%year%-%mnt%-%day%-%hr%-%min%
set backupfldr=C:\inetpub\wwwroot\backupfiles\
set datafldr="C:\Program Files\MySQL\MySQL Server 5.5\data"
set zipper="C:\inetpub\wwwroot\backupfiles\zip\7za.exe"
set retaindays=21

:: Switch to the data directory to enumerate the folders
pushd %datafldr%

:: Get all table names and save them in a temp file
mysql --skip-column-names --user=root --password=mypassword mydatabasename -e "show tables" > tables.txt

:: Loop through all tables in temp file so that we can save one backup file per table
for /f "skip=3 delims=|" %%i in (tables.txt) do (
  set tablename = %%i
  mysqldump --user=root --password=mypassword mydatabasename %%i > "%backupfldr%mydatabasename.%backuptime%.%%i.sql"
)
del tables.txt

:: Zip all files ending in .sql in the folder
%zipper% a -tzip "%backupfldr%backup.mydatabasename.%backuptime%.zip" "%backupfldr%*.sql"

echo "Deleting all the files ending in .sql only"
del "%backupfldr%*.sql"

echo "Deleting zip files older than 21 days now"
Forfiles /p %backupfldr% /m *.zip /d -%retaindays% /c "cmd /c del /q @path"

然后使用 Windows 任务计划程序进行计划。

另外，如果您想在备份中排除某些表，请注意您可以在“show tables”语句中使用 where 子句，但列名取决于您的数据库名称。

例如，如果您的数据库名称是“blah”，那么您在“show tables”结果集中的列名将是“tables_in_blah”。这意味着您可以添加类似于以下内容的 where 子句：

show tables where tables_in_blah <> 'badtable'

或

show tables where tables_in_blah like '%goodtable%'

【讨论】：

【参考方案10】：

请参阅 Pauli Marcus 的以下文章：

Howto split a SQL database dump into table-wise files

将包含整个数据库的 sql 文件拆分为每个表文件 很简单：对 .sql 文件进行 DROP TABLE 的任何出现。产生 DROP TABLE 中包含的表名中的文件名 陈述。将输出回显到文件。这是一个小脚本 需要一个 .sql 文件作为输入：

#!/bin/bash

file=$1 # the input file
directory="$file-splitted" # the output directory
output="$directory/header" # the first file containing the header
GREP="DROP TABLE" # what we are looking for

mkdir $directory # create the output directory

while read line
do
   # if the current line contains the wanted statement
   if [ $(echo "$line" | grep -c "$GREP") == "1" ]
   then
      # extract the file name
      myfile=$(echo $line | awk 'print $5' | sed -e 's/`//g' -e 's/;//g')
      # set the new file name
      output="$directory/$myfile"
   fi
       echo "$line" >> $output # write to file
done < $file

【讨论】：

如果一行包含字符串DROP TABLE怎么办？这不是一个安全的解决方案。

以上是关于自动将所有mysql表转储到单独的文件中？的主要内容，如果未能解决你的问题，请参考以下文章

如何将大sql转储文件拆分成小块并在原始文件中维护每个记录，尽管后来删除了其他记录

MySQL导出数据时提示文件损坏

如何根据日期列在不同的文本/csv文件中转储一个巨大的mysql表？

Photoshop - 使用动作/脚本缩小图像并将图像转储到单独的文件夹中

自动将 csv 文件插入 mysql 表

GDB：打印/转储到文件时自动展平结构