Data JellyFish

数据调度中心
授权协议 Apache
开发语言 JavaScript
所属分类 程序开发、 作业/任务调度
软件类型 开源软件
地区 国产
投 递 者 蒙光华
操作系统 跨平台
开源组织
适用人群 未知
 软件概览
Data JellyFish 译文(数据水母)是数据调度中心,实现系统与系统之间,服务与服务之间,旺小宝与第三方之间的数据100%准实时同步。

用途

  1. 与第三方的数据同步

  2. 内部系统之间的数据同步

特性

  1. 数据100%传输,不丢失任何一条数据

  2. 实时性高,相比定时任务每5分钟,半天,一天,而言,在秒级实现同步

  3. 对接成本低,增量同步时提供一个增量查询接口,全量同步时提供一个全量查询接口

  4. 无中心化的分布式任务,实现任务分片能力,达到并发处理,实现快速调度的目的

  5. 每一条数据都有同步的成功或失败记录,历史可查

  6. 自定义重试策略,固定时长,指数级重试

  7. 完善的监控信息,有多少同步了,有多少未同步,

原理

以系统A同步数据到系统B为例,A系统提供一个http接口,实现数据增量或全量的抓取,”Data JellyFish 数据高度中心“ 简称 "DJ" ,DJ 启动生产者任务线 程T1调用A系统的http接口,将数据存储在自己的中间表中,同时,DJ启动消费者任务线程T2调用B系统提供的另一个接受数据的HTTP接口,来完成数据调度

架构图

传统数据同步方案比较

  1. RCP, http协议直接访问第三方,内存中重试三次后,消息丢失

  2. 定时任务数据同步,延迟高,无分片并发能力

  3. MQ,Kafka等,研发对接(保证数据准确传输的)成本高,无流水记录,无法直接回塑

  4. 每次数据对接都需要重复开发,不具备可用性

样例图

问题反馈

微信号: freedom-Union
邮件交流: kobe96688@126.com
报告issue: https://gitee.com/alenfive/data-jelly-fish/issues

屏幕截图.png

  • http://www.bloomberg.com Bond: http://www.nasdbondinfo.com/asp/bond_search.asp http://www.investinginbonds.com/marketataglance.asp?catid=34 http://www.treasurydirect.gov/indiv/products/products.htm Ra

  • 距离4月21日 Ubuntu 22.04 正式发布越来越近,为了家里的各种 Ubuntu 设备能够安心升级,我决定提前体验接近完成的测试版。 本文提到的升级方式适用于 Desktop 桌面版和 Server 版。 升级前的准备 不论是 Desktop 桌面版,还是 Server 服务器版本的 Ubuntu,在升级前,我们都需要做几件事: 系统中的用户数据备份。 将系统中的软件包升级到最新,并根据实

  • Jellyfish扩大全球业务版图,在电子商务、内容创作、创意和本地化等领域构建新产品,进一步增强数据和分析能力   伦敦--(美国商业资讯)--全球领先品牌(例如三星(Samsung)、优步(Uber)、雀巢(Nestle)、Deckers、Spotify和eBay等)的数字营销合作伙伴Jellyfish今天宣布收购五家公司——每家公司都是数字领域的知名企业。在Jellyfish迅速扩张之际,传

  • This article presents a reading list about Data Center Network (DCN), which is recommended by some other researchers and me. I hope that those papers will be helpful to broaden your horizon if you are

 相关资料
  • 如何从Excel文件中读取计划的例外日期列表,而不必分别采用该文件中的每个日期?我正试图建立一个轮班计划,其中考虑到假期等在未来5年。为此,我创建了一个包含假日日期列表的Excel表,现在我想在AnyLogic模拟中使用它。我尝试了schedule对象的exceptions部分,但没有找到将此部分连接到excel文件的方法。我这里唯一的选择是手动输入每个日期...由于这将是极其乏味的,我正在寻找一

  • 我在Openshift集群上安装了一个Spring Cloud数据流。我尝试注册一个应用程序,然后创建一个任务,一切都很好,但当我试图安排任务时,我遇到了以下异常: 我不知道这是什么意思,我是Dataflow的新手。我不明白为什么他试图使用Maven而不是kubernetes部署器,也不明白为什么我会出现这个错误。有人能再给我解释一下吗? 顺便说一句,我将这些应用程序注册为docker容器。

  • Go的调度的实现,涉及到几个重要的数据结构。运行时库用这几个数据结构来实现goroutine的调度,管理goroutine和物理线程的运行。这些数据结构分别是结构体G,结构体M,结构体P,以及Sched结构体。前三个的定义在文件runtime/runtime.h中,而Sched的定义在runtime/proc.c中。Go语言的调度相关实现也是在文件proc.c中。 结构体G G是goroutine

  • 我用的是石英2.2。1和mysql用于job store,用于创建新的job,它用旧job数据覆盖mysql表中的表内容。没有错误。 这是我的代码: 和我的属性文件: 我做错了什么。 对于每个作业创建,表数据都被新的作业详细信息覆盖。感谢您的关注。

  • 问题内容: 我在redux存储中有一个Cart数组,其中包含我添加到购物车中的所有项目 像这样 并且我有一个输入来添加优惠券代码,当我添加优惠券代码会降低总价,所以如果我没有在商店中存储总计,该如何实现?并在添加此优惠券后渲染总价! 这是我的代码片段 reducer / index.js 购物车屏幕 问题答案: 我的建议是不要在状态中存储冗余(派生的)信息。这意味着您不需要(也不应该!)将总数存储

  • 有人能解释一下如何在OptaPlanner中为项目作业调度问题建模我自己的数据吗?我看到有xml文件、txt文件和很多。mm文件(j1010_1.mm),我不知道如何对自己的输入建模。 样本A_1中的这些数字是什么。txt是什么意思? 2 0 10 j10。毫米/j1011_7。毫米4 19 j10。毫米/j1060_2。毫米4 16-1-1-1 我想是 2-项目数量0-发布日期10-关键路径持续

  • 我们正在迁移一些应用程序,我们使用windos任务调度程序作为工具。 从Server 2012数据中心迁移到Server 2016数据中心。 我以多种方式创建任务,从2012服务器中的任务计划程序导入,手动或使用Poweshell,但场景是相同的。尽管每 15 分钟重复一次并更新“下一个运行时”字段,但任务不会启动。 我没有在Windos的服务或事件查看器中找到错误日志。 有关任务的信息: 已检查

  • 本文向大家介绍调用MySQL中数据库元数据的方法,包括了调用MySQL中数据库元数据的方法的使用技巧和注意事项,需要的朋友参考一下  MySQL的三个信息:     查询的结果有关的信息: 这包括由任何SELECT,UPDATE或DELETE语句产生数量的记录。     表和数据库有关的信息: 这包括表和数据库的结构有关的信息。     MySQL服务器的信息: 这包括当前状态的数据库服务器,版本