当前位置: 首页 > 知识库问答 >
问题:

mysql 如何迁移数据流较大的数据库?

邢皓
2023-09-11

数据库日积月累几个G后,从服务器A导入到服务器B
导入数据库总是失败。内存不足或者直接崩了。

请问有什么方案可以稳定的分段导入吗?

共有3个答案

李弘光
2023-09-11

我说一下我使用过得方法,题主可以尝试一下,阿里云有个DTS数据迁移,可以尝试一下,具体步骤就是先导出源库的表结构,然后把导出的表结构分成两部分,一部分是建表语句,一部分是视图,函数,触发器的语句,然后在目标库执行建表语句之后去阿里云控制台创建DTS迁移任务,等迁移完成在将刚开始导出的视图函数触发器语句执行到目标库。

目前DTS全量迁移是免费的,我已经操作过很多次,数据量几十G也很快,大概1,2个小时左右,如果有不懂的回复我就好,导出表结构用的是navicat。

毛越
2023-09-11

迁移数据流较大的数据库可以采用以下几种方法:

备份和还原:通过备份源数据库,然后将备份文件迁移到目标数据库服务器上,最后进行还原操作。这种方法适用于两个数据库在同一网络环境下,且网络带宽足够大的情况。

导出和导入:使用数据库导出工具(如mysqldump)将源数据库导出为SQL文件,然后将SQL文件迁移到目标数据库服务器上,并使用数据库导入工具(如mysql)进行导入操作。这种方法适用于两个数据库不在同一网络环境下,或者网络带宽有限的情况。

数据库复制:在源数据库上启用主从复制(Master-Slave Replication),将数据实时复制到目标数据库。这种方法适用于源数据库需要保持活动状态,并且对数据的实时性要求较高的情况。

数据库迁移工具:使用专门的数据库迁移工具,如Percona XtraBackup、DMS(Database Migration Service)等,这些工具可以提供更高效、稳定的数据库迁移方案,能够充分利用网络带宽和系统资源,减少迁移过程中的停机时间。

在进行数据迁移前,建议先评估源数据库的数据量和网络条件,选择合适的迁移方法,并进行充分的测试和备份操作,以确保数据的完整性和安全性。另外,对于大型数据库的迁移,可能需要考虑分阶段迁移、增量迁移等策略,以减少对业务的影响。

马煌
2023-09-11

几个G的数据也还好,不是特别大,直接用mysqldump应该就可以了。导入的时候只是在执行insert 语句插入数据,应该不至于会出现内存不足,程序崩溃。

 类似资料:
  • 本文档介绍支持从哪些路径将数据迁移到 TiDB,包括从 MySQL 迁移到 TiDB 和从 CSV/SQL 文件迁移到 TiDB。 各类数据迁移 参阅数据迁移概述及各类迁移内容。

  • 问题内容: 我正在使用Java开发数据库迁移工具。该工具将数据库表及其数据复制到目标数据库。但是我希望它可以在不同的数据库上工作。从mysql复制并在derby等中创建。使用JDBC,我们可以收集有关表及其列的足够信息。但是我要问的是,是否可以使用sql free在Java上重新创建表。我的意思是不同的数据库具有不同的数据类型,有时它们在sql语法上也有所不同。那么JDBC或任何其他库(可以是开放

  • 在开发和维护一个数据库驱动的应用程序时, 数据库的结构会像代码一样不断演变。 例如,在开发应用程序的过程中,会增加一张新表且必须得加进来; 在应用程序被部署到生产环境后,需要建立一个索引来提高查询的性能等等。 因为一个数据库结构发生改变的时候源代码也经常会需要做出改变, Yii 提供了一个 数据库迁移 功能,该功能可以记录数据库的变化, 以便使数据库和源代码一起受版本控制。 如下的步骤向我们展示了

  • 简介 迁移就像是数据库的版本控制, 允许团队简单轻松的编辑并共享应用的数据库表结构,迁移通常和 Laravel 的 数据库结构生成器配合使用,让你轻松地构建数据库结构。如果你曾经试过让同事手动在数据库结构中添加字段,那么数据库迁移可以让你不再需要做这样的事情。 Laravel 的 Schema 门面 对所有 Laravel 支持的数据库系统提供了创建和操作数据表的相应支持。 生成迁移 使用 Art

  • 数据库迁移可以理解为对数据库结构的版本管理,可以有效的解决团队中跨成员对数据库结构的管理。 生成迁移 通过 gen:migration 生成一个迁移文件,命令后面跟的是一个文件名参数,通常为这个迁移要打算做的事情。 php bin/hyperf.php gen:migration create_users_table 生成的迁移文件位于根目录下的 migrations 文件夹内,每个迁移文件都包

  • 在首次创建数据库,您可以使用版本0指定一个迁移运行时! 注意:任何提供的子类,如,UpdateTableMigration和应该只覆盖onPreMigrate()和调用super.onPreMigrate(),所以它的正确实例化。 基类,是一个非常简单的类来执行迁移: 此处是添加到数据库的列的一个例子: 现在,我们要添加一列到这个表。我们有两种方式: 通过Migration: