《大数据开发面经》专题

1.进程和线程的区别？ 2.浏览器输入一个url，这个过程都发生了什么？ 3.linux命令怎么过滤文件里面的关键字？ 4.数据库索引有哪些？ 5.同一时间访问数据库，怎么解决资源不安全的问题？ 6.你的项目用户密码是明文存储吗？考虑过不安全的问题吗，要怎么改进？ 7.协议响应码有哪些？ 8.go语言的defer知道吗，try catch 9.go语言的panic知道吗，怎么解决？

1： String的特性，不可变的好处，怎么实现不可变的 2：为什有了string还要stringbuffer，buffer和string的区别，性能比较 3： Thread Local的原理，为什么Thread Local会有内存泄露问题，如何解决的？ 4：hashmap插入过程，concurrenthashmap的优化，1.7和1.8的区别 5： 为什么tomcat要打破双亲委派机制？ 6：

问题内容： 要获取的数据大小：大约20,000 问题：在python中使用以下命令搜索Elastic Search索引数据 但没有得到任何结果。 如果我给的尺寸小于或等于10,000，则可以正常使用，但不能与20,000一起使用， 请帮助我找到最佳的解决方案。 PS：在深入研究ES时发现此消息错误： 结果窗口太大，从+大小必须小于或等于：[10000]，但为[19999]。有关请求大数据集的更有效

面试官人很好，中间自己的迷惑回答给面试官说笑了😀，其中问的一个知识点记岔了，照着错误的答案解释不出来 1、自我介绍 2、关于学校的一些事情，如有没有课、学校教了什么之类的 3、关于学习的一些事情，如平时怎么学习的之类的 4、关于项目的一些提问 5、数据库写完但是还没写MQ时，如果电脑宕机了怎么办 6、为什么用SpringBoot，它的自动装配原理 7、SpringBoot中bean的创建过程 8

面试官确实是湖南人，有湖南口音 面了半小时，没有高强度拷打 说是工作中主要还是JAVA，让我努力学学JAVA 测试的分类 黑盒白盒 单元集成系统回归 α β 一轮二轮啥的 JAVA三大特性 多态 七层模型，展开说说 UI自动化的健壮性保证 如果不能定位元素怎么办 深拷贝浅拷贝 列表和元组 进程的四种状态 怎么让就绪变成运行？ 为什么你要在实习过程中多次点击同一个按钮测试 百度搜索怎么测 怎么确定压

1.自我介绍 2.你是如何说服他人的 3.团队中有人耽误了项目进度怎么办 4.你遇到严重缺陷是如何处理的 5.介绍你在校园的活动或者项目是如何进行的 6.你是如何了解一个行业的趋势的，有哪些方法或者习惯 7.你了解到的黑盒测试方法有哪些，介绍一下内容 一共九道题，那两个没记住

1. 自我介绍 2. 实习做了些什么 最有成就感的需求 最难的需求 等等 3.反问 没有问什么技术问题，没有做题，全程就20min，感觉要挂

上来先做了一道 最近登录日期 的sql题 然后开始问大数据八股,,,, 1. mapreduce map端的shuffle过程 2. spark stage 划分的依据 3. 宽依赖和窄依赖 4. 了解kafka吗 5. spark sql与mysql sql的区别 6. spark dataframe 和dataset的区别 7. 数据库中id设计 除了uuid和时间戳，还有什么方式 #招银网络

一面（技术面） 自我介绍 hadoop架构 namenode的功能，对namenode影响最大的计算机资源 介绍一下hive 宽依赖，窄依赖 写过复杂sql吗，介绍一下 sql分组过滤 java的hashmap c++和java的区别 介绍一下hbase 数据库三范式 二面（hr面） 自我介绍 为什么选择中移互联网 了解中移互联网吗（这里尬住了，压根不了解） #中移互联网##数据研发#

一面：80min 1、自我介绍 2、介绍部门情况 3、介绍下部门的数仓建设情况 4、简述实习里的三个实习做的项目，聊背后的逻辑 聊了好久好久 5、聊聊在字节认为部门最厉害的技术是什么 6、聊聊自己的爱好 7、觉得自己有什么有优点 8、团队协作和个人工作区别是什么，各自的优点和缺点 9、一道sql题，有两个数组，展开数据，角标相对应的取出数据 10、sql的job和stage划分，窗口函数是否会sh

一面： 无自我介绍环节，直接开问 1、聊实习项目，很细，聊了好久 2、yarn任务提交流程 3、spark的stage切分原理 4、spark任务提交流程 5、对比mr和spark，为什么都用spark 6、谈谈对hudi的理解 7、kafka的负载均衡原理 8、两道算法题，字符串相关的 9、反问 ps.好多过程不记得了 二面： 三个模块 开发 大数据 算法 不想回忆了，直接自闭，一点都不会 但是

1.sqoop底层是怎么实现的 2.shuffle调优 3.数仓和数据集市的概念 4.数仓分层，各个层是做什么的 5.维度退化，为什么要维度退化 6.HDFS上文件用什么存储的，ORC底层是什么样的 7.sql，求TopN 8.从一个数组中求第N大的数（先手撕了一下快排，然后面试官问有没有更好的答案，然后说了一下用堆的做法） 反问 整体面试三十分钟左右，感觉是寄了

阿里云数据开发一面，问项目穿插八股，本帖就只记录一下八股部分 1.三范式是什么 2.Spark RDD和DataFrame的区别 3.Spark涉及shuffle的具体算子 4.MySQL存储引擎是什么 5.MySQL存储的结构是什么，为什么不能用特别长的key 6.使用过哪些大数据框架 7SQL的窗口函数，什么作用，具体例子 8.了解过云计算吗 9.springboot会用吗

到店业务 有点久远一直忘了写，就记得这么多 一面： 1、自我介绍 2、比赛中遇到的难点 3、实习中做的项目，聊项目细节 (大部分时间都在问这个) 我好像很多面经都这么简略的写，这次写细点儿哈，里面涉及到的一些知识点，具体项目就不聊了 数仓模型设计方法 数据质量如何判断 如何保障下游查出时间 对于重要程度不同的任务如何合理分配资源 dwd层建模方法，考虑哪些东西 spark任务调参逻辑和常用参数 c

客套部分： 1.我和面试官互相的自我介绍 2.手撕代码（lc模式，反转链表II） 3.因为嵌入式项目和C++项目都有，面试官问我想做什么(面的C++当然说做C++） 说部门主要做中间件开发，语言就是用C++，所以开始问C++ 11新特性 C++ 11： 1.强枚举类型（项目里有） 2.function()和bind()（项目里有） 3.智能指针（三种都介绍一遍，当然只写过demo，项目实际没用到）