当前位置: 首页 > 软件库 > 大数据 > 其他 >

Ebay Pulsar

实时大数据分析平台
授权协议 GPLv2
开发语言 Java JavaScript HTML/CSS SHELL
所属分类 大数据、 其他
软件类型 开源软件
地区 不详
投 递 者 龙安阳
操作系统 跨平台
开源组织 eBay
适用人群 未知
 软件概览

Pulsar 是 eBay 开源的实时大数据分析平台。

作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。基于现有的hadoop大数据处理,已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对最新技术的运用,探索出一个对海量的数据流进行实时的收集,处理,分发和分析的平台。并于2015年2月底开源此平台: Pulsar。

Pulsar 作为一个复杂事件处理平台,具有快速,准确,灵活的特性,保证点到点的低延时和高可靠,从而很好得满足了的eBay秒级实时数据分析的需求。同时每秒百万级流量处理能力,给客户带来更好的个性化体验,帮助客户监控实时业务信息并定制实时营销策路,及时监测网络欺诈行为并减少机器人干预。并且Pulsar是基于标准的分布式云架构部署并跨越多个数据中心,从而保证了在系统升级和拓扑更新时没有集群停机时间。

Pulsar logo

Pulsar 平台提供了一个完整的实时大数据分析的解决方案:

Pulsar architecture

该平台能够实时收集 Event Stream,并且对 Event 进行实时的 Enrichment 和 Sessionization,推送到不同的实时应用,同时能够实时的进行统计和分析,对业务提供 Key insights.

在 Pulsar 平台内部,它把 Event Stream 看成一种类数据库的表,在上面通过应用申明式的4GL来定义Business logic. 并且同时开源了作为支撑Pulsar 的一个全新的大数据流处理框架: Pulsar Jetstream.

Pulsar.Stream是一个通用的全新的大数据流的处理框架。他实现了一个开放的,自动发现的Topology, 不同的应用可以分布在不同的Data center, 通过网络进行自动的发现并且建立连接,数据主动从Producer推送到Subscriber. 在每个应用内部,通过Pipeline的方式连接各个业务模块,并且支持用4GL的EPL来定义业务逻辑。整个的topology是开放的并且能够动态扩展,相应的EPL也能够进行动态的更新且没有服务中断。

典型的部署结构

EPL

介绍来自 CSDN

 相关资料
  • SuperMap iClient for Leaflet 对接了 SuperMap iServer 的分布式分析服务,为用户提供大数据分析功能,主要包括: 密度分析 点聚合分析 单对象空间查询分析 区域汇总分析 矢量裁剪分析

  • 社招,录取,一共三轮面试。 一面:自我介绍,问简历相关项目,出题:有5000万条车险顾客数据,已知其中的500万的用户有宠物,如何对其他4500万用户精准推荐宠物险。 二面:自我介绍,提问他们更换模型时,生效有延迟怎么处理。 三面:自我介绍,知道哪些机器学习算法,决策树原理,协方差作用。 HR谈薪:薪资构成:12个月加年终奖。三个月试用期,试用期间工资八折,年终奖发放看考核分数所处区间系数。 拒绝

  • 一面(约50分钟) 1、自我介绍 2、详细说明工作经历做了什么,有什么成果即工作业绩 3、SQL用的最多的函数有哪些 4、窗口函数rank()、dense_rank()、row_number()的区别 4、两道SQL口述题目 一个表三列分别是:id,顾客的问题,对问题的回答 a)获得顾客问的最多的10个问题 b)获得每个顾客问的最多的10个问题 5、讲述ABtest的过程 6、怎么分析ABtest

  • 一面 电话call 10min 应该是hr来面的技术面 应该是照着问题念的 她们也不是很懂 印象中有一些统计学问题,p值,假设检验等。 机器学习问题等等 二面 10-15min 视频面 挖简历为主 三个面试官一起 二面后应该是泡池子了,过了好久好久,突然打电话约我三面 三面 30min 电话call hr面 恕我直言,我觉得hr是面下来最专业的了 问对保险行业的理解 为什么来产险 你认为数据在保险

  • 平安产险数据类笔试0901场 总共30道选择+2道问答题,总时长45分钟。 30道选择包括:经济学/SQL(不是常见的向题,会涉及到注入漏斗之类的)/概率论与数理统计/金融数学(年金、利率 剩余本金)/会计/机器学习 2道问答题都有点像是逻辑推理,比如给你几个条件,让你推断抽出的是哪三张牌 总体来说范围很广,难度我觉得不算小 #平安# #平安产险# #数据分析# #笔试# #24校招内推#

  • 实时分析用户在微信小程序中的每一个互动行为,了解用户行为轨迹,结合用户设置的微信属性全面分析用户价值,结合场景的统计分析,提升小程序的使用效率,通过数据驱动用户的增长。

  • 主要内容:1.大数据生态技术,2.数据存储,3.数据存储的发展,4.数据存储的方式1.大数据生态技术 数据存储处理: 清洗, 关联, 规范化, 组织建模, 通过数据质量的检测, 数据分析然后提供相应的数据服务 离线数仓: 实时数仓: 以Kafka, cancal/Maxwell/FlinkCdc为区分, 离线数仓为Hive, Sqoop 实时数仓:分层: Ods, Dwd, Dim, Dwm, Dws, Ads 离线数仓分层: Ods. Dwd, Dws, Dwt, Ads 实

  • 功能介绍 获取本APP定制分析中实时分析报告的数据,本报告是定制分析,支持维度和指标的自由组合,请详细阅读本文档说明了解使用详情。 接口 https://openapi.baidu.com/rest/2.0/mtj/svc/app/getDataByKey 请求参数 此处仅列本接口特有参数,公共参数请参考报告级API说明 获取表格数据 参数名 参数类型 是否必须 描述 method string