pulsar-io-cloud-storage

适用于 Pulsar 的 Cloud Storage 连接器
授权协议 Apache
开发语言 Java
所属分类 服务器软件、 终端服务器/远程连接
软件类型 开源软件
地区 不详
投 递 者 金瑞
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

Apache Pulsar 引入 Cloud Storage Sink 连接器(以下简称为 Cloud Storage 连接器)。Cloud Storage 连接器采用简单、可靠的方式,帮助用户将数据从 Apache Pulsar 迁移到云存储的对象中。

Cloud Storage 连接器定期轮询 Pulsar 数据,然后将其以 Avro、JSON 或 Parquet 格式存储到云存储的对象(AWS S3、Google GCS 等)中。根据用户的环境设置,Cloud Storage 连接器保证向消费者(consumer)“只发送一次” 消息。

Cloud Storage 连接器支持基于 Pulsar 主题分区或者基于时间(以天或小时为单位)的 partitioner。Partitioner 将 Pulsar 主题分区拆分成为多个数据块。数据块相当于云存储中的对象,其虚拟路径使用 Pulsar 分区 ID和该数据块的起始偏移量进行编码。对 Pulsar 分区和该数据块的起始偏移量进行编码。数据块的大小取决于云存储写入的记录的数量和 schema 兼容性。如果没有在配置中指定 partitioner,则使用保留 Pulsar 分区的缺省 partitioner。

Cloud Storage 连接器支持以下功能:

�� 确保严格一次(Exactly-Once)的数据输出

�� 支持所有数据(无论是否带有 schema 格式)

�� 支持基于时间的 partitioner

�� 支持多种对象存储类型

  • 关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。 GitHub 地址:http://github.com/apache/pulsar/ 导语 各位

 相关资料
  • Pulsar 是一个事件驱动的框架,用于监控 Linux 设备的活动。它允许你通过其模块从 Linux 内核收集运行时活动事件,并根据你自己的安全策略集评估每个事件。Pulsar 由 eBPF 提供支持并用 Rust 编写,设计轻巧且安全。 Pulsar 是一个高度模块化、基于事件的运行时安全框架。Pulsar 专为物联网和边缘计算而设计,针对性能、运行时成本和边缘安全性进行了优化。 Pulsar

  • Pulsar 是 eBay 开源的实时大数据分析平台。 作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。基于现有的hadoop大数据处理,已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对最新技术的运用,探索出一个对海量的数据流进行实时的收集,处理,分发和分析的平台。并于2015年2月底开源此平台: Pulsar。 Pulsar 作为一个复杂事件处理平台,具有快速,准

  • Pulsar Manger 是由 StreamNative 公司开源并捐献给 Apache 基金会的 Apache Pulsar 的管理端。它是基于 Web 的 GUI 管理工具,支持多种环境的动态配置,主要面向的用户群体是 Pulsar 的管理员,用于管理和监控 Pulsar。通过 Pulsar Manager, 可管理 tenants、namespaces、topics、subscriptio

  • Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apach

  • Pulsar 是 Appley Maps 显示脉冲星动画效果的通用解决方案。 Pulsar 基于 CALayer, 兼容任意的 UI 空间和任意的 UIView。 Pulsar 包括基于 CALayer 简单的类,提供一站式服务的 builder 模式: 定制时间和重复计算 定制线宽 定制背景或者边界颜色 定制路径 (可选)

  • Eclipse Pulsar 是一个基于 Eclipse 平台的手机应用程序开发工具。该项目由Eclipse成员Genutec、IBM、摩托罗拉、诺基亚、Research In Motion以及索爱共同发起。它是一个通用的工具,开发者无需再为各种不同的移动平台而下载不同的SDK。