gbase 8a mysql_Gbase8a Reader

本文为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。

背景信息

Gbase8a是一款基于列存储的新型分析型数据库，Gbase8a Reader插件实现了从Gbase8a读取数据的功能。

注意 目前Gbase8a Reader仅支持使用独享数据集成资源组，不支持使用默认资源组和自定义资源组。

Gbase8a Reader通过JDBC连接器连接至远程的Gbase8a数据库，根据您配置的信息生成查询SQL语句，发送至远程Gbase8a数据库，执行该SQL并返回结果。然后使用数据同步自定义的数据类型拼装返回的结果为抽象的数据集，传递给下游Writer处理。

对于您配置的table、column和where等信息，Gbase8a Reader将其拼接为SQL语句发送至Gbase8a数据库。

对于您配置的querySql信息，Gbase8a直接将其发送至Gbase8a数据库。

Gbase8a Reader通过MySQL数据库驱动访问Gbase8a(复用MySQL协议)，您需要确认驱动和您的Gbase8a服务之间的兼容能力。数据库驱动使用如下版本。

mysql

mysql-connector-java

5.1.22

参数说明

参数

描述

是否必选

默认值

datasource

如果您使用的Dataworks版本支持添加Gbase8a数据源，即可在此处根据数据源名称引用您添加的Gbase8a数据源。

包括jdbcUrl和username两种配置方式。

否

无

jdbcUrl

指的是到对端数据库的JDBC连接信息。使用JSON的数组描述，并支持一个库填写多个连接地址。

如果配置了多个，Gbase8a Reader可以依次探测IP的可连接性，直到选择一个合法的IP。

如果全部连接失败，则Gbase8a Reader报错。

说明 jdbcUrl必须包含在connection配置单元中。

jdbcUrl根据Gbase8a官方规范，可以填写连接附件控制信息。例如，jdbc:mysql://127.0.0.1:3306/database，需要和username配置方式二选一。

否

无

username

数据源的用户名。

否

无

password

数据源指定用户名的密码。

否

无

table

选取的需要同步的表。使用JSON的数组进行描述，支持同时读取多张表。

当配置为多张表时，您需要保证多张表的schema结构一致，Gbase8a Reader不检查表的逻辑是否统一。

说明 table必须包含在connection配置单元中。

是

无

column

所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息 。默认使用所有列配置，例如[ * ]。

支持列裁剪：列可以挑选部分列进行导出。

支持列换序：列可以不按照表schema信息顺序进行导出。

支持常量配置：例如，'123'。

支持函数列：例如，date('now')。

column必须显示指定同步的列集合，不允许为空。

是

无

splitPk

Gbase8a Reader进行数据抽取时，如果指定splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。

推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。

目前splitPk仅支持整型数据切分，不支持字符串、浮点和日期等其它类型 。如果您指定其它非支持类型，则忽略splitPk功能，使用单通道进行同步。

如果设置splitPk值为空，底层将视作您不允许对单表进行切分，因此使用单通道进行抽取。

否

空

where

筛选条件，Gbase8a Reader根据指定的column、table、where条件拼接SQL，并根据该SQL进行数据抽取。

例如，在进行测试时，可以指定where条件为limit 10。在实际业务场景中，通常会选择当天的数据进行同步，指定where条件为gmt_create>$bizdate。

where条件可以有效地进行业务增量同步。

where条件不配置或为空，则视作全表同步数据。

否

无

querySql

在部分业务场景中，where配置项不足以描述所筛选的条件，您可以通过该配置型来自定义筛选SQL。配置该项后，数据同步系统会忽略tables、columns和splitPk配置项，直接使用该项配置的内容对数据进行筛选。

当您配置querySql时，Gbase8a Reader直接忽略table、column、where和splitPk条件的配置。

否

无

fetchSize

该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。

说明 fetchSize值过大(>2048)可能造成数据同步进程OOM。

否

1,024

向导开发介绍

暂不支持向导模式开发。

脚本开发介绍

配置一个从Gbase8a读取数据的作业，使用脚本开发的详情请参见通过脚本模式配置任务。

{

"type": "job",

"steps": [

{

"stepType": "gbase8a", //插件名。

"parameter": {

"datasource": "", //数据源名。

"username": "",

"password": "",

"where": "",

"column": [ //字段。

"id",

"name"

],

"splitPk": "id",

"connection": [

{

"table": [ //表名。

"table"

],

"jdbcUrl": [

"jdbc:mysql://host:port/database"

]

}

]

},

"name": "Reader",

"category": "reader"

},

{

"stepType": "stream",

"parameter": {

"print": false,

"fieldDelimiter": ","

},

"name": "Writer",

"category": "writer"

}

],

"version": "2.0",

"order": {

"hops": [

{

"from": "Reader",

"to": "Writer"

}

]

},

"setting": {

"errorLimit": {

"record": "0" //错误记录数。

},

"speed": {

"throttle": false, //false代表不限流，下面的限流的速度不生效；true代表限流。

"concurrent": 1, //作业并发数。

}

}

}