IndexDumper

ES索引同步工具
授权协议 Apache
开发语言 Java
所属分类 程序开发、 其他开发相关
软件类型 开源软件
地区 国产
投 递 者 吴丁雷
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

用于给Elasticsearch建立索引,数据源方式支持:Binlog增量、阿里云DTS增量、数据库全量,通过配置就可以支持把数据记录导入ES,建立索引和更新索引,大家可以修改这些代码实现自己的需要。

编译

mvn -P [profile]

profile包括:dev,beta,prod

运行

bin/startup.sh [increment|full|alincr]

increment : Binlog增量

full : 数据库全量

alincr : 阿里云DTS增量

依赖

如果采用Binlog增量方式,需要部署阿里巴巴的canal来获取预处理后的数据变更事件

 相关资料
  • 这个练习直接来自SCJP,由凯西·塞拉和伯特·贝茨完成 同步代码块 在这个练习中,我们将尝试同步一个代码块。在该代码块中,我们将获得对象的锁,以便其他线程在代码块执行时无法修改它。我们将创建三个线程,它们都将尝试操作同一对象。每个线程将输出一个字母100次,然后将该字母递增一次。我们将使用的对象是StringBuffer。 我们可以在一个String对象上进行同步,但是字符串一旦创建就不能被修改,

  • 在Git管理下,大家实际操作的目录被称为工作树。 在数据库和工作树之间有索引,索引是为了向数据库提交作准备的区域。 Git在执行提交的时候,不是直接将工作树的状态保存到数据库,而是将设置在中间索引区域的状态保存到数据库。因此,要提交文件,首先需要把文件加入到索引区域中。 所以,凭借中间的索引,可以避免工作树中不必要的文件提交,还可以将文件修改内容的一部分加入索引区域并提交。 下一页是上述内容的具体

  • 问题内容: 我对MySQL索引的工作方式非常感兴趣,更具体地说,它们如何在不扫描整个表的情况下返回请求的数据? 我知道这是题外话,但是如果有人可以向我详细解释一下,我将非常非常感谢。 问题答案: 基本上,表上的索引的作用类似于书中的索引(这就是名称的来源): 假设您有一本关于数据库的书,并且想要查找有关存储的信息。没有索引(假设没有其他帮助,例如目录),则必须逐个浏览页面,直到找到主题(即)为止。

  • 这段代码是关于一个水罐车游荡在一个环境中寻找有任务的水站。 试图通过访问点的数组列表进行递增,但每次运行代码时,我都得到一个“indexoutofboundsexception”,但其索引不同,而且大小总是与索引相同,所以我非常困惑。中断程序的索引/大小看起来是随机变化的。 示例错误:线程“main”java.lang.IndexOutOfBoundsException:Index:5,SIZE:

  • 我对Java同步有一个疑问。我想知道如果我的类中有三个同步方法,一个线程在一个同步方法中获取锁,其他两个会被锁定吗?我问这个问题是因为我与以下语句混淆了。 当一个线程在一个对象的同步方法内部时,所有希望执行这个同步方法或该对象的任何其他同步方法的其他线程都必须等待。这个限制不适用于已经有锁并正在执行该对象的同步方法的线程。这样的方法可以调用该对象的其他同步方法而不会被阻塞。该对象的非同步方法当然可

  • 问题内容: 这个问题在python中: 第一次打印给出0,第二次打印给出p 我不知道为什么,如果您能给出解释,将不胜感激。 谢谢那些帮助的人:) 问题答案: 索引从开始。所以战列舰包含索引项,,,。 首先获取列表列表的长度,即4。 通过索引值访问列表中的项目。因此,第一次调用该函数: 这是哪个是哪个

  • 我正在尝试与Android源代码回购同步,但出现错误: 错误:索引包死于信号9 错误:索引包死 远程:发送大约2.01 GiB... 远程:正在计数对象:1,完成 远程:查找源:100%(20881/20881) 接收对象:100%(20881/20881),2.00 GiB 6.11 MIB/s,完成。 远程:总计20881(增量14047),重用20831(增量14047) 我该怎么解决这个?

  • 问题内容: 我对Java同步有疑问。我想知道我的类中是否有三个同步方法,并且一个线程在一个同步方法中获得了锁,另外两个将被锁定吗?我问这个问题是因为我对以下陈述感到困惑。 当线程处于对象的同步方法内部时,希望执行该同步方法或对象的任何其他同步方法的所有其他线程将必须等待。此限制不适用于已经具有锁并正在执行对象的同步方法的线程。这样的方法可以调用对象的其他同步方法而不会被阻塞。当然,任何线程都可以随