当前位置: 首页 > 编程笔记 >

MySQL 复制表的方法

姬欣怡
2023-03-14
本文向大家介绍MySQL 复制表的方法,包括了MySQL 复制表的方法的使用技巧和注意事项,需要的朋友参考一下

1、mysqldump

执行过程:

一、将数据导出为 sql 文件。

mysqldump -h$host -P$port -u$user --add-locks=0 --no-create-info --single-transaction --set-gtid-purged=OFF db1 t --where="a>900" --result-file=/client_tmp/t.sql

将数据导出为 sql 文件保存。上面几个参数的含义分别是:

1、–single-transaction 的作用是,在导出数据的时候不需要对表 db1.t 加表锁,而是使用 START TRANSACTION WITH CONSISTENT SNAPSHOT 的方法;

2、–add-locks 设置为 0,表示在输出的文件结果里,不增加" LOCK TABLES t WRITE;" ;

3、–no-create-info 的意思是,不需要导出表结构;

4、–set-gtid-purged=off 表示的是,不输出跟 GTID 相关的信息;

5、–result-file 指定了输出文件的路径,其中 client 表示生成的文件是在客户端机器上的。

二、执行文件,添加到表中

mysql -h127.0.0.1 -P13000 -uroot db2 -e "source /client_tmp/t.sql"

source 并不是一条 SQL 语句,而是一个客户端命令。也就是服务器端具体执行的是文件中的一条条 sql 语句,所以 binlog 记录的都是具体的 sql。

特点

1、生成的 sql 文件保存在客户端

2、默认保存数据方式是多个记录对,如下面格式

如果想要保存为一条语句只保存一条记录,那么可以加上参数–skip-extended-insert。

2、导出 CSV 文件(最灵活)

执行过程

一、导出为 CSV 文件

select * from db1.t where a>900 into outfile '/server_tmp/t.csv';

注意:

1、into outfile 指定了文件的生成位置(/server_tmp/),这个位置必须受参数 secure_file_priv 的限制。

参数 secure_file_priv 的可选值和作用分别是:

  1)如果设置为 empty,表示不限制文件生成的位置,这是不安全的设置;

  2)如果设置为一个表示路径的字符串,就要求生成的文件只能放在这个指定的目录,或者它的子目录;

  3)如果设置为 NULL,就表示禁止在这个 MySQL 实例上执行 select … into outfile 操作。

2、如果同一个目录下存在同名文件,就会报错

3、一般情况下一条记录就对应 CSV 文件中的一行,但是如果某个字段值中有 "换行、制表符" 那么文件中也会包含,并且使用 "\" 来转义。

二、导入数据

load data infile '/server_tmp/t.csv' into table db2.t;

过程:

1、打开文件 /server_tmp/t.csv,以制表符 (\t) 作为字段间的分隔符,以换行符(\n)作为记录之间的分隔符,进行数据读取;

2、启动事务。

3、判断每一行的字段数与表 db2.t 是否相同:

  1)若不相同,则直接报错,事务回滚;

  2)若相同,则构造成一行,调用 InnoDB 引擎接口,写入到表中。

4、重复步骤 3,直到 /server_tmp/t.csv 整个文件读入完成,提交事务。

特点

1、文件保存在服务器端

2、关于 binlog 的记录,过程如下:

  1)主库执行完成后,将 /server_tmp/t.csv 文件的内容直接写到 binlog 文件中。

  2)往 binlog 文件中写入语句 load data local infile ‘/tmp/SQL_LOAD_MB-1-0' INTO TABLE `db2`.`t`。

  3)把这个 binlog 日志传到备库。

  4)备库的 apply 线程在执行这个事务日志时:

    a. 先将 binlog 中 t.csv 文件的内容读出来,写入到本地临时目录 /tmp/SQL_LOAD_MB-1-0 中;

    b. 再执行 load data 语句,往备库的 db2.t 表中插入跟主库相同的数据。

  关于 "local":

    1)不加“local”,是读取服务端的文件,这个文件必须在 secure_file_priv 指定的目录或子目录下;

    2)加上“local”,读取的是客户端的文件,只要 mysql 客户端有访问这个文件的权限即可。这时候,MySQL 客户端会先把本地文件传给服务端(其他会话涉及的操作),然后执行上述的 load data 流程。

3、上面的导出操作并不会导出表结构,所以,如果向导出表结构,可以使用 mysqldump 来同时导出 CSV 和表结构

mysqldump -h$host -P$port -u$user --single-transaction --set-gtid-purged=OFF db1 t --where="a>900" --tab=$secure_file_priv

会在$secure_file_priv 定义的目录下,创建一个 t.sql 文件保存建表语句,同时创建一个 t.txt 文件保存 CSV 数据。

3、物理拷贝(最快)

在5.6之前,想要直接把.frm和.ibd文件拷贝到要拷贝的目录下是不行的,因为一个Innodb表除了需要这两个文件还需要在数据字典中注册。但是从 5.6 开始可以解决这一问题,在 5.6 引入了可传输空间,可以通过导出 + 导入表空间来实现拷贝

过程

假设我们现在的目标是在 db1 库下,复制一个跟表 t 相同的表 r,具体的执行步骤如下:

1、执行 create table r like t,创建一个相同表结构的空表;

2、执行 alter table r discard tablespace,这时候 r.ibd 文件会被删除;

3、执行 flush table t for export,这时候 db1 目录下会生成一个 t.cfg 文件;

4、在 db1 目录下执行 cp t.cfg r.cfg; cp t.ibd r.ibd;这两个命令(这里需要注意的是,拷贝得到的两个文件,MySQL 进程要有读写权限);

5、执行 unlock tables,这时候 t.cfg 文件会被删除;

6、执行 alter table r import tablespace,将这个 r.ibd 文件作为表 r 的新的表空间,由于这个文件的数据内容和 t.ibd 是相同的,所以表 r 中就有了和表 t 相同的数据。

注意:

1、在第 3 步执行完 flsuh table 命令之后,db1.t 整个表处于只读状态,直到执行 unlock tables 命令后才释放读锁;

2、在执行 import tablespace 的时候,为了让文件里的表空间 id 和数据字典中的一致,会修改 r.ibd 的表空间 id。而这个表空间 id 存在于每一个数据页中。因此,如果是一个很大的文件(比如 TB 级别),每个数据页都需要修改,所以你会看到这个 import 语句的执行是需要一些时间的。当然,如果是相比于逻辑导入的方法,import 语句的耗时是非常短的。

局限

1、必须是全表拷贝,不能条件拷贝

2、需要到服务器上拷贝数据,在用户无法登录数据库主机的场景下无法使用

3、由于是通过拷贝物理文件实现的,源表和目标表都是使用 InnoDB 引擎时才能使用

总结

1、前两个都是逻辑备份,也就是可以跨引擎使用,最后一个不行

2、前两个可以条件拷贝,最后一个不行

3、第二个功能是最灵活的,但是在集群从库接收时会比较耗时(需要先拷贝 CSV 文件数据到本地临时文件),最后一个执行效率是最高的,但是不能跨引擎,且只能进行全量拷贝。

以上就是MySQL 复制表的方法的详细内容,更多关于MySQL 复制表的资料请关注小牛知识库其它相关文章!

 类似资料:
  • 本文向大家介绍Mysql复制表结构、表数据的方法,包括了Mysql复制表结构、表数据的方法的使用技巧和注意事项,需要的朋友参考一下 本文给大家分享了好几种复制表结构、表数据的示例介绍,具体详情请看下文吧。 1、复制表结构及数据到新表 CREATE TABLE 新表SELECT * FROM 旧表 这种方法会将oldtable中所有的内容都拷贝过来,当然我们可以用delete from newtab

  • 本文向大家介绍mysql中复制表结构的方法小结,包括了mysql中复制表结构的方法小结的使用技巧和注意事项,需要的朋友参考一下 mysql中用命令行复制表结构的方法主要有一下几种:  1.只复制表结构到新表 或者 2.复制表结构及数据到新表 3.复制旧表的数据到新表(假设两个表结构一样)  4.复制旧表的数据到新表(假设两个表结构不一样)

  • 本文向大家介绍MySQL复制表的三种方式(小结),包括了MySQL复制表的三种方式(小结)的使用技巧和注意事项,需要的朋友参考一下 复制表结构及其数据 下面这个语句会拷贝数据到新表中。 注意:这个语句其实只是把select语句的结果建一个表,所以新表不会有主键,索引。 只复制表结构 或者 注意:前一种方式是不会复制主键类型,索引的,而后一种方式是把旧表的所有字段类型都复制到新表。 只复制表数据 如

  • 问题内容: 我已经寻找了一段时间,但找不到适合我问题的简单解决方案。我想在表中复制一条记录,但是当然,唯一的主键需要更新。 我有这个查询: 问题在于,这只是更改行的,而不是复制行。有人知道如何解决这个问题吗? // edit:我想在不键入所有字段名称的情况下执行此操作,因为字段名称会随着时间变化。 问题答案: 我通常使用的方法是使用临时表。它可能在计算上效率不高,但看起来还可以!在这里,我要完全复

  • 本文向大家介绍Mysql复制表三种实现方法及grant解析,包括了Mysql复制表三种实现方法及grant解析的使用技巧和注意事项,需要的朋友参考一下 如何快速的复制一张表 首先创建一张表db1.t,并且插入1000行数据,同时创建一个相同结构的表db2.t 假设,现在需要把db1.t里面的a>900的数据行导出来,插入到db2.t中 mysqldump方法 几个关键参数注释: –single-t

  • 问题内容: 我应该使用MySQL复制来同步本地数据库和远程数据库吗?如果是这样,我该如何设置主机和从机?还有其他方法可以做到这一点吗? 问题答案: 如何设置主/从? 此复制:如何指导同时具有您需要在主服务器和从服务器上进行的操作。 任何其他可用于执行此操作的方法 还有MySQL群集的多主复制和循环复制。