《大数据开发工程师》专题

最难绷的一集，感觉KPI面 1.自我介绍 2.介绍项目，你这不就是最普通的广告曝光么，有什么区别，客群标签是你们加工的吗，数据流图是什么，有啥用 3.项目难点，业务上的难点，你这种方法也没解决业务的难点啊（我真难绷，业务对接过程的问题我咋解决，我最多减缓） 4.介绍hive or spark 5.数仓开发的关键点，每一层的作用 6.反问：我终于说出了那句一直想说但不敢说的“我没有什么问题要问”，润

如何将数据导入数仓 ods层数据量有多大 flume如何保证数据的一致性和完整性 数仓分了哪几层 维度建模的模型，为什么使用这个模型 表的数据变化如何进行分区 dws层如何设计，举项目中例子 用到了哪些开窗函数 row number遇到数据一样如何排序 left semi join 和？？？的区别 orderby和sortby的区别 sparksql和hivesql的区别 arraylist和li

一面（4.24）： 总体30 min 1.为什么在上一家公司离职 2.对公司有什么诉求 3.理解到你的诉求是想提升技术了，那假如在公司干活不能提升你的技术那你会怎么办（跑路） 4.你希望自己以后成为什么样的人 5.AB test 6.标准明细表（没太听懂） 7.数仓的分层 8.spark为什么比MR快 9.项目中具体干了什么活 10.你觉得沟通很重要吗 11.如果你有简单的方案可以完成业务方的需求

一面 项目深挖 数仓分几层，每一层的作用 事实表如何设计 维度表如何设计 数据域如何划分 业务总线矩阵的概念 如何设计完整的指标 开发中和上线后数据质量如何保证 如何设计调度，依据是什么 hive数据倾斜解决办法 hivesql常见优化手段 什么是spark宽窄依赖，起到什么作用 sql题：用户连续登录游戏的最大天数，允许间隔一天 反问 做什么业务 教培业务中的线下面授分析 网络问题迟到了一会，面

游戏开发——数据工程，50分钟 问的都是八股 四类访问权限；四种内部类；反射机制；JMM内存模型；ArrayList和LinkedList；final VS finalize VS finally； 两道编程题： 有序列表合并；最长回文串 等消息

公司：顺丰速运集团（顺丰科技） 岗位：大数据挖掘与分析工程师 形式：视频面试 视频面试平台：赛码 初试 面试官：所在组的大数据挖掘与分析高级工程师 时长：15分钟 流程： 0、面试官自我介绍 1、自我介绍 2、看到你简历上写了很多个项目，你觉得哪个项目对你能力提升比较大？可以详细描述一下吗？包括但不限于项目背景、分析过程、最终目标、结果展示等。 3、讲一下机器学习模型和数据挖掘方法在这些项目中的具

有没有一种方法可以在talend大数据工作中迭代一个TiveInput？

主要内容：大数据大数据 达沃斯世界经济论坛等全球性重要会议都把“大数据”作为重要议题，进行讨论和展望。而随着大数据发展日新月异，我们国家也在审时度势、精心谋划、超前布局、力争主动。本报精心策划，就全球大数据发展趋势，中国的机遇和挑战，大数据发展法制建设等展开调研和采访。 “大数据”是今年达沃斯世界经济论坛的热词之一，与会各界都对云计算、大数据等驱动经济数字化转型因素表达了高度关注。而在年初举办的2018拉斯维加斯

史无前例的快，整个面试流程，从进去会议室到结束，共计6分钟！ 不知道是不是拿我刷KPI 简单记录下 自我介绍 为什么想来上海 自身的不足 有没有想过怎么去改变 有什么想问的？（问了两个问题） #兴业数金校招##面试流程#

工程发布方法 我们服务化后的工程都使用CRP 进行持续交付，我们将代码提交到Git 仓库之后即可进行自动编译，进行单元测试，JavaDoc 生成，以及点击 按钮实现发布。 本章节 将带领大家 一步一步 的配置进行发布的工作。

自我介绍 项目介绍：（国模详细介绍、面对的困难） 实习介绍：实习中有没有做一些本职之外的有趣的事情。怎么样对数据预处理，有没有什么提炼的策略。 nlp介绍 用户画像怎么做的 sql窗口函数三个 反问：业务、实习时间 面试官是小姐姐，感觉还挺好的：） 等一个结果

6.8号电话通知简历筛选通过，问我什么时候有时间，进行电话面试。 6.9号电话技术面，30分钟，问的内容比较基础，基本上都是围绕着简历内容展开。 自我介绍 简历中项目的详细内容 Flume和Kafka如何搭配使用（项目中涉及） 项目中的数仓是如何构建的？如何分层的？分层的意义在哪里？ 项目中用户画像是如何展示的？ Spark和MR有什么区别 Spark启动后的程序流程 Spark宽窄依赖 Spar

问题内容： 我打开kibana并进行搜索，但出现碎片失败的错误。我查看了elasticsearch.log文件，然后看到此错误： 有什么办法可以增加593.9mb的限制？ 问题答案： 您可以尝试在配置文件中将fielddata断路器的限制提高到75％（默认值为60％），然后重新启动集群： 或者，如果您不想重启群集，则可以使用以下方法动态更改设置： 试试看。

大数据 概述 大数据: 收集到的数据已经远远超出了我们的处理能力。 大数据 场景 假如你为一家网络购物商店工作，很多用户访问该网站，其中有些人会购买商品，有些人则随意浏览后就离开。 对于你来说，可能很想识别那些有购物意愿的用户。 那么问题就来了，数据集可能会非常大，在单机上训练要运行好几天。 接下来：我们讲讲 MapRedece 如何来解决这样的问题 MapRedece Hadoop 概述 Had

自我介绍 数仓分层 为什么分层 为什么建模 星型模型，雪花模型 数据库的三范式 范式建模和维度建模的区别，优缺点 如果给你一个任务，一个月完成，你怎么规划 反问 oc