yugong

Oracle数据迁移同步工具
授权协议 GPLv2
开发语言 Java
所属分类 数据库相关、 数据库管理工具
软件类型 开源软件
地区 国产
投 递 者 颜新
操作系统 跨平台
开源组织 阿里巴巴
适用人群 未知
 软件概览

yugong 是阿里巴巴推出的去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)

08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步.

整个数据迁移过程,分为两部分:

  1. 全量迁移

  2. 增量迁移

过程描述:

  1. 增量数据收集 (创建oracle表的增量物化视图)

  2. 进行全量复制

  3. 进行增量复制 (可并行进行数据校验)

  4. 原库停写,切到新库

架构

说明: 

  1. 一个Jvm Container对应多个instance,每个instance对应于一张表的迁移任务

  2.  instance分为三部分
    a.  extractor  (从源数据库上提取数据,可分为全量/增量实现)
    b.  translator  (将源库上的数据按照目标库的需求进行自定义转化)
    c.  applier  (将数据更新到目标库,可分为全量/增量/对比的实现)

  • 不得不说顶级大佬们都有一种理工的终极浪漫,yugong这个名字真的太贴切了Orz,哈哈哈哈 首先附上项目Github源地址:点击进入 项目官方文档:点击进入 下载地址:点击进入 (建议直接下载tar包,不建议自己编译,会遇到各种问题,需要改源码的大佬当我没说) 强烈建议先去把人家的文档好好看一遍,其实他的文档已经写的非常清楚了,愚公的使用相对简单,这里主要介绍一下yugong的几个模式的问题,以及

  • yugong详细介绍,可以参考: https://github.com/alibaba/yugong/wiki/AdminGuide http://blog.csdn.net/sunnylinner/article/details/52064637 下载后如果pom.xml中oracle的引用报错需修改 u s e r . d i r 为 {user.dir}为 user.dir为{basedir

  • 场景 要对愚公二开,所以先做一个测试,将愚公跑通,之前一直比较忙,今天将日志补上,以防遗忘 开始 单张表从orale到mysql的迁移,源端oracle和目标端mysql的表结构不完全相同 项 项 源库 目标库 数据库类型 ORACLE MYSQL 用户 user1 root 密码 123456 root URL jdbc:oracle:thin:@127.0.0.1:1521:user1 jdb

  • 一.下载jar包 jar包地址 yugong生成的jar_MYCAT-YUGONG-互联网文档类资源-CSDN下载 命令行执行: java -jar yugong-shaded.jar -c conf\\5_mysql-mysql-full-sync.properties -y conf\\5_mysql-mysql-full-trans.yaml 2.对应配置文件修改 5_mysql-mysql

 相关资料
  • 数据库迁移工具 首先通过 composer 安装 composer require topthink/think-migration 注意事项,不支持修改文件配置目录 在命令行下运行查看帮助,可以看到新增的命令 php think migrate migrate:create Create a new migration migrate:rollback Rollback t

  • 本文向大家介绍yii2.0数据库迁移教程【多个数据库同时同步数据】,包括了yii2.0数据库迁移教程【多个数据库同时同步数据】的使用技巧和注意事项,需要的朋友参考一下 本文讲述了yii2.0数据库迁移的方法。分享给大家供大家参考,具体如下: 创建迁移 使用如下命令来创建一个新的迁移: 必填参数 name 的作用是对新的迁移做一个简要的描述。例如,如果这个迁移是用来往多个数据库同一张表  ( 假设每

  • Navicat 提供一系列强大的工具让你处理数据,包括导入向导、导出向导、数据传输、数据同步、结构同步、转储 SQL 文件、运行 SQL 文件。使用这些工具,你可以轻松地在不同的服务器、数据库和格式之间迁移数据。

  • Navicat 提供一系列强大的工具让你处理数据,包括导入向导、导出向导、数据传输、数据同步、结构同步、转储 SQL 文件、运行 SQL 文件。使用这些工具,你可以轻松地在不同的服务器、数据库和格式之间迁移数据。

  • Navicat 提供一系列强大的工具让你处理数据,包括导入向导、导出向导、数据传输、数据同步、结构同步、转储 SQL 文件、运行 SQL 文件。使用这些工具,你可以轻松地在不同的服务器、数据库和格式之间迁移数据。

  • 本文档介绍支持从哪些路径将数据迁移到 TiDB,包括从 MySQL 迁移到 TiDB 和从 CSV/SQL 文件迁移到 TiDB。 各类数据迁移 参阅数据迁移概述及各类迁移内容。

  • 问题内容: 我正在使用Java开发数据库迁移工具。该工具将数据库表及其数据复制到目标数据库。但是我希望它可以在不同的数据库上工作。从mysql复制并在derby等中创建。使用JDBC,我们可以收集有关表及其列的足够信息。但是我要问的是,是否可以使用sql free在Java上重新创建表。我的意思是不同的数据库具有不同的数据类型,有时它们在sql语法上也有所不同。那么JDBC或任何其他库(可以是开放

  • 在开发和维护一个数据库驱动的应用程序时, 数据库的结构会像代码一样不断演变。 例如,在开发应用程序的过程中,会增加一张新表且必须得加进来; 在应用程序被部署到生产环境后,需要建立一个索引来提高查询的性能等等。 因为一个数据库结构发生改变的时候源代码也经常会需要做出改变, Yii 提供了一个 数据库迁移 功能,该功能可以记录数据库的变化, 以便使数据库和源代码一起受版本控制。 如下的步骤向我们展示了