AthenaX 是 Uber 的内部流分析平台,旨在满足以下需求并为每一个人提供可访问的流分析能力:
(1)轻松为各类用户提供导航服务,而无需对其技术背景提出任何要求 ;
(2)以可扩展及高效方式分析实时事件 ;
(3)极为强大,可持续支持成百上千项关键性任务。
AthenaX 同时支持着 Uber 的技术与非技术客户,确保其能够利用结构化查询语言(简称 SQL)运行全面的生产级流分析任务。SQL 使得事件流处理变得更为简单——SQL 负责描述需要分析的数据,而 AthenaX 则确定如何分析数据(例如进行数据定位或者对其计算进行规模扩展)。
AthenaX 将流数据与查询作为输入内容,计算出结果,而后将结果推送至各类输出内容当中。
本篇介绍一下flink在我司的平台化实践,讲个大概,不能讲太详细。 AthenaX介绍 uber AthenaX https://athenax.readthedocs.io/en/latest/, 这个项目就不详细介绍了,官网写的比较详细,核心功能就是封装flink sql 转换为 JobGraph,然后提交到yarn集群运行。 转换过程及源码 AthenaX源码中最核心的代码就是JobComp
Uber 有超大量的实时数据需要分析,(路况分析,计算车辆到达需要的时间等) 有More than one trillion real-time 消息通过他们的kafka,so 他们需要一个infrastructure 并且infrastructure (平台)需要有如下特性: (1) easily navigable(通航) by all users regardless(而不用管) of te
社招,录取,一共三轮面试。 一面:自我介绍,问简历相关项目,出题:有5000万条车险顾客数据,已知其中的500万的用户有宠物,如何对其他4500万用户精准推荐宠物险。 二面:自我介绍,提问他们更换模型时,生效有延迟怎么处理。 三面:自我介绍,知道哪些机器学习算法,决策树原理,协方差作用。 HR谈薪:薪资构成:12个月加年终奖。三个月试用期,试用期间工资八折,年终奖发放看考核分数所处区间系数。 拒绝
一面 电话call 10min 应该是hr来面的技术面 应该是照着问题念的 她们也不是很懂 印象中有一些统计学问题,p值,假设检验等。 机器学习问题等等 二面 10-15min 视频面 挖简历为主 三个面试官一起 二面后应该是泡池子了,过了好久好久,突然打电话约我三面 三面 30min 电话call hr面 恕我直言,我觉得hr是面下来最专业的了 问对保险行业的理解 为什么来产险 你认为数据在保险
平安产险数据类笔试0901场 总共30道选择+2道问答题,总时长45分钟。 30道选择包括:经济学/SQL(不是常见的向题,会涉及到注入漏斗之类的)/概率论与数理统计/金融数学(年金、利率 剩余本金)/会计/机器学习 2道问答题都有点像是逻辑推理,比如给你几个条件,让你推断抽出的是哪三张牌 总体来说范围很广,难度我觉得不算小 #平安# #平安产险# #数据分析# #笔试# #24校招内推#
一面 (4.7) 简历面,问了问项目和实习,聊了聊意向,对岗位的情况作介绍 二面(4.11) 问一些诸如过往经历中遇到的问题?如何解决的?项目团队中承担什么角色?怎么和团队协作的?之类的hr面会问的问题 4.17官网显示转推荐 一面的小姐姐感觉挺热情挺贴心的,面了有半小时; 二面感觉面试官全程没什么热情,问题都是走流程,面了十几分钟就结束了。#京东物流##数据分析#
Serverless 适合用于事件驱动型应用,以及定时任务。今天,让我们来看看一个事件驱动的例子。 在之前的那篇《Serverless 应用开发指南:CRON 定时执行 Lambda 任务》中,我们介绍了如何调度的示例。 最初我想的是通过 Lambda + DynamoDB 来自定义数据格式,后来发现使用 Kinesis Streams 是一种更简单的方案。 Amazon Kinesis Stre
有时候,对于我们的决定只要有一点点的数据支持就够了。一点点的变化,可能就决定了我们产品的好坏。我们可能会因此而作出一些些改变,这些改变可能会让我们打败巨头。 这一点和 Growth 的构建过程也很相像,在最开始的时候我只是想制定一个成长路线。而后,我发现这好像是一个不错的 idea,我就开始去构建这个 idea。于是它变成了 Growth,这时候我需要依靠什么去分析用户喜欢的功能呢?我没有那么多的