YDB跨集群导入数据

《《《《《《《 大棒槌QAQ 》》》》》》》

在YDB中这跨集群导入数据，在装有YDB的A集群中可以将B集群中HDFS的数据导入到A集群的YDB表中。相关的配置如下。

1.若ydb集群对端hadoop集群（集群②）的NN没有高可用

在YDB集群（集群②）执行跨集群导入数据。

执行以下样例命令即可

sh /opt/ydbsoftware/ya100/bin/ydbimport.sh   -t kongjian330 -p kuajiqun1731 -tp txt -f hdfs://集群②:8020/kjtestwcf1.txt   -fl test

2.若ydb集群对端hadoop集群（集群②）的NN存在高可用

查看集群②hdfs-site.xml文件获取HA相关配置

即：

dfs.nameservices

dfs.ha.namenodes.ngpcluster

dfs.namenode.rpc-address.ngpcluster.nn1

dfs.namenode.rpc-address.ngpcluster.nn2

dfs.client.failover.proxy.provider.ngpcluster

具体如下：

<property>

            <name>dfs.nameservices</name>

            <value>ngpcluster</value>

            </property>

<property>

            <name>dfs.ha.namenodes.ngpcluster</name>

            <value>nn1,nn2</value>         

</property>

<property>

            <name>dfs.namenode.rpc-address.ngpcluster.nn1</name>

            <value>collietest2:8020</value>

</property>

<property>

         <name>dfs.namenode.rpc-address.ngpcluster.nn2</name>

         <value>collietest:8020</value>

</property> 

<property>

         <name>dfs.client.failover.proxy.provider.ngpcluster</name> 

         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

将上述查询出的YDB对端集群相关HA信息 直接拷贝到YDB集群hdfs-site.xml文件中

使用以下命令导入（在ydb集群（集群①）执行）

sh /opt/ydbsoftware/ya100/bin/ydbimport.sh -ov  -t kongjian330 -p kuajiqun -tp txt -f hdfs://ngpcluster/kjtestwcf1.txt   -fl test

更多的用法，感兴趣的童鞋可以去延云官网了解一下

延云YDB咨询电话：400-188-4800

延云官方QQ技术交流群：521648211