Apahe Pulsar 从入门到精通 整理

本文由 简悦 SimpRead 转码， 原文地址 mp.weixin.qq.com

导语

新年快乐！大年初三，Apahe Pulsar 社区给您拜年啦！特此奉上年货礼包一份。

Hi 小伙伴们，感谢你加入 Apache Pulsar 社区——一个快速成长的消息流技术社区。作为 「云原生时代消息中间件之王」的 Apache Pulsar ，是 Apache 软件基金会顶级项目，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

你选择学习、调研和使用 Apache Pulsar，那就对了！你在与 Apache Pulsar 社区共同携手创造未来，并将未来变成现实。我们不否认其他同类开源项目过去发挥的作用，也将持续在部分场景发生作用。但是，如果你洞察到 Apache Pulsar 能够帮助你解决旧有技术痛点，帮你节省成本、更好助力团队创造业务价值，突破旧技术边界的时候，应该毫不犹豫选择 Apache Pulsar！迟疑多久，你就损失多大。

可能你对 Apache Pulsar 还不甚熟悉，苦于手头没有好资料，不知道怎么入手，那你来到这里也就对了，我们首推大家阅读、查阅 - Apache Pulsar 官方文档 [1] 。我们这里也整合了 Apache Pulsar 社区建立以来的优质干货资料，它是一份小百科、大集锦，希望对你有帮助。

基础入门向

要点：通过该模块，你可以了解 Apache Pulsar 的发展过程、特性、工作原理等。

• Apache Pulsar 介绍

• 简介 Apache Pulsar - 下一代分布式消息系统

• 怎么用 Pulsar ？举个栗子来看看

• 理解 Apache Pulsar 工作原理
• Apache Pulsar 分层存储帮你省钱
• Apache Pulsar：从消息系统到流原生平台
• Pulsar namespace 策略的简单小介绍
• Apache BookKeeper 简介
• Pulsar IO 简介
• Pulsarctl 介绍
• Pulsar Connector 预览篇
• Pulsar Source 入门篇
• Pulsar Sink 入门指南
• Pulsar Kafka Client 简单介绍

Pulsar VS Kafka

要点：最全面的 Pulsar VS Kafka 特性、性能对比及基准测试数据！

• 原因揭秘！为什么选择 Pulsar 而非 Kafka ？

• 选择 Pulsar 而不是 Kafka 的 7 大理由
• Kafka 已落伍，转角遇见 Pulsar！

• 对比 Apache Kafka 和 Apache Pulsar 创建工作队列
• Apache Pulsar 与 Kafka 性能比较：延迟性（测试结果）
• Apache Pulsar 与 Kafka 性能比较：延迟性（测试过程）
• Apache Pulsar 与 Kafka 性能比较：延迟性（测试方法）
• Pulsar VS. Kafka（1）: 统一的消息消费模型（Queue + Stream）
• Pulsar VS. Kafka（2）: 以 Segment 为中心的架构
• Pulsar 和 Kafka 基准测试：Pulsar 性能精准解析（完整版）
• Apache Pulsar 与 Apache Kafka 在金融场景下的性能对比分析

Pulsar 进阶篇

要点：了解 Pulsar 基础后，让我们更深入的了解 Pulsar 的负载均衡、认证授权、访问模式等细节，大展拳脚！

• Pulsar 负载均衡设计

• 深入了解 Pulsar 认证和授权机制
• Pulsar 如何应用到数据查询中
• Pulsar SQL – 数据流的并发查询

• 用 Apache Pulsar SQL 查询数据流
• Apache Pulsar 的访问模式与分层存储
• Apache Pulsar 正式引入 Cloud Storage Sink 连接器：实现 Apache Pulsar 数据上云

• 使用 Elastic Beats 搜集日志到 Pulsar

• 如何使用 Pulsar Dashboard 监控

• 如何使用 OpenTracing 和 Jaeger 追踪 Pulsar 消息

• 使用 Apache SkyWalking 对 Apache Pulsar 进行消息链路追踪与性能监控

• 如何使用 Apache Flume 发送日志数据至 Apache Pulsar

• 深入理解之 Apache Pulsar Connector 与 Partition 关系篇

• 在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar

• 如何在 Pulsar 中使用 Debezium Connector
• Pulsar 分级存储 – S3 演示

Pulsar 集群

要点：手把手教你如何实现跨地域复制以及搭建简单的测试集群！

• 跨地域复制系列 (一)Apache Pulsar Pulsar 的跨地域复制机制介绍

• 跨地域复制系列 (二)Apache Pulsar 的跨地域复制实践
• MacOS 单机搭建 Pulsar 集群

• 在多台 Linux 服务器上搭建 Pulsar 集群

• 订阅状态的复制？跨机房同步下如何应用

Functions

要点：带你快速了解 Pulsar Functions 并分享其使用指南！

• 一篇文章了解 Pulsar Functions

• 用 Pulsar Functions 进行实时分析
• Pulsar Functions 的深入小分享
• Pulsar Functions 简要指南：原理、目标与规划
• Functions Debug 终极指南
• Pulsar Functions Worker 的选举机制
• Apache Pulsar 之 Java Function 实践篇
• Apache Pulsar 之 Python Function

• 基于 Pulsar Functions 的事件处理设计模式

• 深入理解 Apache Pulsar Connector 与 Functions 的关系
• Apache Pulsar 之 Go Function

BookKeeper

要点：Apache BookKeeper 很难吗？点击下方文章带你深入浅出，一起再看 BookKeeper！

• Apache BookKeeper 简介
• Apache BookKeeper 很复杂吗？你细品

• 一起再看 BookKeeper（不知是不是大结局）

• 为什么选择 Apache BookKeeper - Part 1

• 为什么选择 Apache BookKeeper — Part 2

• 使用 GCS offloader 卸载存储在 BookKeeper 中的数据

• 使用 AWS S3 offloader 卸载存储在 BookKeeper 中的数据

批流融合

要点：批流融合是如何实现的？

• Queuing vs Streaming
• Flink Forward China: 使用 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理
• Flink 和 Pulsar 的批流融合

• 从消息系统到数据平台

• 如何使用 Apache Flink 查询 Pulsar 流
• Pulsar 怎样为批流处理提供融合的存储

• 如何基于 Pulsar 和 Spark 进行批流一体的弹性数据处理？

用户案例及重大发布

要点：让我们一起看看各大公司在哪些场景会使用 Pulsar！

• 在 STICORP 使用 Apache Pulsar 构建数据驱动的应用程序
• Narvar 为何迁移到 Apache Pulsar

• 个推基于 Apache Pulsar 的优先级队列方案

• 雅虎日本如何用 Pulsar 构建日均千亿的消息平台

• 甜橙金融如何利用 Apache Pulsar 在日均上亿的交易中抵御金融诈骗
• Apache Pulsar 在腾讯计费场景下的应用

• 化繁为简 - 腾讯计费高一致 TDXA 的实践之路
• Pulsar 在涂鸦智能的实践
• Pulsar SQL 在智联搜索日志中的应用

• 为什么 Nutanix Beam 没选择 Apache Kafka，而选择了 Apache Pulsar？
• Apache Pulsar 在 BIGO 的性能调优实战（上）

• 跨城实践中，腾讯如何应用 Apache Pulsar
• Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践
• Apache Pulsar 助力江苏移动重塑 5G 时代计费支撑系统
• Apache Pulsar 在智联招聘的实践 – 从消息队列到基于 Apache Pulsar 的事件中心
• Apache Pulsar 携手 THG，开启深度实践和积极回馈 Apache 之旅
• Apache Pulsar 在 EMQ 物联网平台产品 ActorCloud 上的应用

• Google 发布 Season of Docs，连接全球开源社区与技术文档写作群体
• StreamNative 和中国移动宣布开源 AoP：Apache Pulsar 支持原生 AMQP 协议
• KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议
• Go Client 0.1.1 版本发布

• 批流融合：Pulsar Flink Connector 2.7.0 发布
• Pulsar 2.7.0 新增特性概览：事务支持、Topic 级别策略配置等

博文干货推荐

要点：全网最全面 Pulsar 相关干货博文合集！

• Pulsar IO 中 Schema 的调用流程
• Apache Pulsar 基于 Log4j2+Kafka+ELK 实现日志的快速检索
• 消息系统的发展趋势：云原生是未来
• 深度解析云原生消息队列 AMQP
• Apache Pulsar 在移动云上的应用
• Pulsar Topic 压缩
• 译文｜Pulsar Schema Registry
• 译文｜LogDevice 与 Apache Pulsar 之间的对比
• 使用 Apache Pulsar Functions 进行简单事件处理
• 译文｜Apache Pulsar 如何保证消息不丢不重？
• 译文｜Apache Pulsar 的分层存储
• ➡️ 译文｜如何将 Pulsar 用作消息队列

视频及活动回顾

要点：带你走进 Pulsar 的前世今生！

活动回顾

• Apache Pulsar 事务简介、TiDB 悲观事务
• 在清华，遇见 Apache Pulsar 和 Apache IoTDB
• Go 在 Apache Pulsar 上的应用与实践、开源项目中文档的实现
• COSCon 2019 中国开源年会：Apache Pulsar 项目和社区分享
• Hadoop User Group France
• Query Pulsar Streams using Apache Flink
• 云栖大会 | 如何基于 Pulsar + Flink 构建下一代实时数据仓库
• ApacheCon North America 2019 完美谢幕
• CSDI | Apache Pulsar: 云原生消息系统简介
• Ray Forward Meetup - Ant Financial
• Huobi & GitChat Meetup
• |Apache Pulsar Meetup 上海站
• Apache Pulsar 上海 Meetup
• Apache Pulsar Meetup | 北京站
• 视频回顾：Apache Pulsar Meetup 北京站
• EMQ X Meetup 北京站 - 5/18
• Apache Pulsar Meetup · 北京站 | 视频回顾
• Apache Pulsar Meetup · 北京站 | 社区经验交流 | 视频回顾
• Apache Pulsar Meetup | 深圳站
• Apache Pulsar x Apache Flink Meetup | 杭州站

• 视频回放：Apache Pulsar x Apache Flink Meetup | 杭州站
• EventStreaming Meetup No.1
• Efficient Schemas in Event Streaming using Apache Pulsar

Pulsar Summit Asia 2020

• 视频回顾 | Pulsar Summit Asia 2020 · 主题演讲
• 视频回顾 | Pulsar Summit Asia 2020 · 场景案例 (上)：即时零售, 金融证券, 物联网, 电信计费等
• 视频回顾 | Pulsar Summit Asia 2020 · 场景案例 (下)：覆盖 IoT、电商、联邦学习、能源互联网等行业
• 视频回顾 | Pulsar Summit Asia 2020 · 技术探究与生态：解析 Pulsar 组件，生态融合
• 视频回顾 | Pulsar Summit Asia 2020 · 英文专场：汇聚全球 Pulsar 开发者精彩
• StreamNative CEO 郭斯杰带你深度解析 “消息、流、存储” 三位一体融合趋势

更多 Pulsar Summit Asia 2020 视频请点击下方链接查看：

视频汇总观看地址：https://space.bilibili.com/391380821/channel/detail?cid=159884

TGIP 相关文章、PPT 及视频

请复制下面链接获取：（百度云盘下载）

链接: https://pan.baidu.com/s/1s2Q9WTz5RCTqV38Vrn1phw

密码: 82sq

引用链接

[1] Apache Pulsar 官方文档: https://pulsar.apache.org/docs/en/standalone