管理后台

概要设计

    1、创建、发送、停止同步任务;
    2、创建、抓取同步工作节点;
    3、抓取、整合节点统计数据与实时数据并做页面展示;
    4、抓取、整合任务统计数据与实施数据并做页面展示;
    5、抓取告警日志并做页面展示;
    6、收集、整合数据推送到中间件。

名词须知

    数据源:数据存储位置，现启用kafka、jdbc、canal三种类型;
    数据表组:关系数据库下多个来源表、目标表组合;
    节点:node.jar程序，如分发节点的意思是，任务只能在固定节点运行;
    告警通知人:任务或者节点发生异常，需要人工介入时，告警邮件接收者;
    来源数据:需要同步的数据;
    消费插件、消费转换插件、同步数据来源:数据同步过程中用到的中间件或者工具，Canal适用于mysql,ogg、kafak适用于oracle;
    目标数据:同步的数据最终目标位置;
    载入插件:影响sql的拼装方式;
    元数据表组、目标数据表组：元数据表组的数据同步到目标数据表组;
    映射关系:表与表、表字段与表字段的对应关系,现在只支持最小维度的关系映射。

前置事项

    数据源配置:
            数据源类型:jdbc
                数据源类型:mysql or oracle
                url:jdbc:mysql://0.0.0.0:3306/xxx?useUnicode=true&characterEncoding=utf8 【mysql必须带格式后缀,不然会出现乱码！】
                用户名:root
                密码:123456
            数据源类型:kafka
                服务器列表:0.0.0.0:9092,0.0.0.1:9092【多个,隔开】
                主题:test【多个,隔开】
                查询超时时间:5000【ms】
                单次查询数量:1000【影响读取速度】
            数据源类型:canal 【canal对应源数据mysql情况】
                地址:0.0.0.0:3306【数据库地址】
                数据库:atest【database名称】
                用户:root
                密码:123455
                过滤器:atest\.(a1|a2|a3|a4)  【过滤器格式遵循正则规则,不填会影响数据读取范围！】
    数据表配置:
            (略)
    节点管理:
            (略)

任务管理

    (略)

数据监控

    运行日志:
            (略)
    任务监控:
            (略)
    节点监控:
            (略)

开发支持

    标注略的章节:
        建议登陆测试环境进行手动操作,地址:http://127.0.0.1:8888 账户:admin 密码:admin
    技术支持：
        研发中心架构部技术创新组。