verticajdbc驱动_Vertica Reader
Vertica是一款基于列存储的MPP架构的数据库，Vertica Reader插件实现了从Vertica读取数据的功能。本文为您介绍Vertica Reader的实现原理、参数和示例。
注意 Vertica Reader仅支持使用独享数据集成资源组，不支持使用默认资源组和自定义资源组。
实现原理
在底层实现上，Vertica Reader通过JDBC连接远程Vertica数据库，并执行相应的SQL语句，从Vertica数据库中读取数据。
Vertica Reader通过JDBC连接器连接至远程的Vertica数据库，根据您配置的信息生成查询SQL语句，发送至远程Vertica数据库，执行该SQL并返回结果。然后使用数据同步自定义的数据类型拼装为抽象的数据集，传递给下游Writer处理。
对于您配置的table、column和where等信息，Vertica Reader将其拼接为SQL语句发送至Vertica数据库。
对于您配置的querySql信息，Vertica直接将其发送至Vertica数据库。
Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认Vertica驱动和您的Vertica服务之间的兼容能力。数据库驱动使用如下版本。
com.vertica
vertica-jdbc
7.1.2
参数说明
参数
描述
是否必选
默认值
datasource
数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。
是
无
jdbcUrl
描述的是到对端数据库的JDBC连接信息，使用JSON的数组进行描述，并支持一个库填写多个连接地址。
如果配置多个连接地址，Vertica Reader可以依次验证IP的可连接性，直到选择一个合法的IP。如果全部连接失败，则Vertica Reader报错。
说明 jdbcUrl必须包含在connection配置单元中。
jdbcUrl的格式和Vertica官方一致，并可以连接附件控制信息。例如，jdbc:vertica://1**.0.0.1:3306/database。
否
无
username
数据源的用户名。
否
无
table
选取的需要同步的表名称。
是
无
password
数据源指定用户名的密码。
否
无
table
选取的需要同步的表。使用JSON的数组进行描述，支持同时读取多张表。
当配置为多张表时，您需要保证多张表的schema结构一致，Vertica Reader不检查表的逻辑是否统一。
说明 table必须包含在connection配置单元中。
是
无
column
所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息 。默认使用所有列配置，例如[ * ]。
支持列裁剪，即列可以挑选部分列进行导出。
支持列换序，即列可以不按照表schema信息顺序进行导出。
支持常量配置。
column必须显示指定同步的列集合，不允许为空。
是
无
splitPk
Vertica Reader进行数据抽取时，如果指定splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，提高数据同步的效能。
推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片不容易出现数据热点。
目前splitPk仅支持整型数据切分，不支持字符串、浮点、日期等其它类型 。如果您指定其它非支持类型，Vertica Reader将报错。
如果设置splitPk为空，底层将视作您不允许对单表进行切分，因此使用单通道进行抽取。
否
无
where
筛选条件，Vertica Reader根据指定的column、table和where条件拼接SQL，并根据该SQL进行数据抽取。
例如在测试时，可以指定where条件。在实际业务场景中，通常会选择当天的数据进行同步，可以将where条件指定为gmt_create > $bizdate。
where条件可以有效地进行业务增量同步。
where条件不配置或者为空，视作全表同步数据。
否
无
querySql
在部分业务场景中，where配置项不足以描述所筛选的条件，您可以通过该配置型来自定义筛选SQL。配置该项后，数据同步系统会忽略tables、columns和splitPk配置项，直接使用该项配置的内容对数据进行筛选。
当您配置querySql时，Vertica Reader直接忽略table、column和where条件的配置。
否
无
fetchSize
该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。
说明 fetchSize值过大(>2048)可能造成数据同步进程OOM。
否
1,024
向导开发介绍
暂不支持向导模式开发。
脚本开发介绍
配置一个从Vertica读取数据的作业，使用脚本开发的详情请参见通过脚本模式配置任务。
{
"type": "job",
"steps": [
{
"stepType": "vertica", //插件名。
"parameter": {
"datasource": "", //数据源名。
"username": "",
"password": "",
"where": "",
"column": [ //字段。
"id",
"name"
],
"splitPk": "id",
"connection": [
{
"table": [ //表名。
"table"
],
"jdbcUrl": [
"jdbc:vertica://host:port/database"
]
}
]
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "stream",
"parameter": {
"print": false,
"fieldDelimiter": ","
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": "0" //错误记录数。
},
"speed": {
"throttle": false, //false代表不限流，下面的限流速度不生效；true代表限流。
"concurrent": 1, //作业并发数。
}
}
}