《大数据开发》专题

一上来让我先自我介绍。然后 问我学的最好的几门课， 我说了数据结构，java，//// 他问我数据结构怎么分类， 我说之前没想过，现在先想分为数组、堆，栈，队列、树，图。 然后问我链表是不是。我说漏了 。 又问我为什么链表不分进树里面。链表是单岔树 我说非得这么分就得把树分进图里面。 他说对啊，看你怎么分，重新组织下。 我说想不出来 问我java的jvm的理解。 我说有jvm能在各个系统上运行ja

1.自我介绍 2.布隆过滤器如何减少误判？ 3.介绍一下点赞系统是怎么做的？ 4.点赞系统中的缓存和数据库一致性怎么做的？ 5.学习进度记录是如何减少与数据库的写操作的？ 6.Java重写和重载的区别？ 7.JVM垃圾回收算法介绍一下？ 8.ArrayList和LinkedList之间的区别？ 9.乐观锁和悲观锁的区别？ 10.MySQL中的索引是如何实现的？ 11.手撕二叉树中序遍历，非递归 1

一面 自我介绍 讲一下上一段实习做了什么？ 怎么做建模的？ 有遇到什么数据治理相关的问题吗？ 怎么做的？ 讲讲你做的需求开发？实习期间具体产出了多少内容？ 你怎么跟上下游沟通的？ 怎么学习数仓内容的？ 如果有什么需求排不过来，你会怎么处理？ sql题，求每个用户类型下，下单数top100的用户。 反问 一面感觉答得还不错，面试官态度也比较好 二面 开局定在11点30就感觉很不对劲了 经典自我介绍

一面 实习做什么 介绍实习的项目 对大数据的开发 数据仓库的认识 为什么数据仓库分层 Spark SQL题 分组TOPN 算法题 二面 介绍实习 Spark底层 Stage怎么划分 宽窄依赖 口述SQL语句转Spark RDD 代码算法题 SQL题 留存率 三面 介绍实习 介绍这个学校的项目（开始问算法。。） 用的哪些算法 为啥这样用 概率论相关 三门问题 三门问题进阶 扔硬币，先扔的人胜率 面了

自我介绍 new String() == "" new Integer(100) == 100 说一说集合List和Map java中的锁 写一个双重锁单例模式 mysql 几种锁，怎么设计一个联合索引 多线程的实现方式，区别 SpringBoot 用过哪些注解，怎么定义一个接口 手撕单链表排序（写过但是忘干净了，寄） 总结：偏后端，寄就寄吧#数据开发##数据开发工程师面经##好未来面经#

13：00时间，一个人大概8分钟，进去的时候我面带微笑，面试官问我怎么这么开心，接下来自我介绍，问我偏算法还是开发，介绍一下自己的项目，在做项目过程中有没有遇到什么困难，项目是虚拟的还是已经上线？接不接受转营销岗（说我更适合做营销，东城区或者通州区倾向哪），感觉技术已经无了，还是要好好挖项目

单选 1）32bit系统中sizeof(指针数组)的大小 2）正则表达式 3）在Linux中，进程的VmHWM代表（） 4）引用 5）规定求值顺序的运算符 6）数据结构从存储上可以分为（） 7）适合于查找有序单链表的查找方法 8）快排 9）进程运行状态 10）虚拟地址空间为4GB的处理器有（）位 11）Linux系统中将文件名a.txt称改为txt.a的命令 12) DELETE和TRUNCATE

写面经 攒人品 1.介绍项目； 2.秒杀项目如何保证高可用； 3.Redis在项目中的作用； 4.Redis的持久化机制； 5.针对项目哪些部分进行测试； 6.优先保证业务还是优先保证系统稳固； 7.一个微服务项目多个进程进行通信采用什么样的方式最快； 8.乐观锁悲观锁 弊端 什么情况下乐观锁效率比悲观锁低； 7.科研课题 模型参数规模 如果数据中有噪声如何处理；

base上海 自我介绍 为什么想投测开 项目的难点，最重要的部分 项目有什么收获吗，专利，论文 java线程池 100个用户和10000个用户什么区别 用三个关键词总结自己（我说了 抗压 什么事情让你觉得自己能够抗压 最自豪的事情是什么 看过什么书，哪个让你觉得收获最大 有没有实习经历（我要有就写进简历了….. 反问 部门主要业务 测试环节多还是开发环节多 什么时候出反馈结果：HR两周内会通知 感

问题内容： 我需要从大约6000万行的数据集中创建一个2000列，大约30-50百万行的数据透视表。我曾尝试过旋转100,000行的数据块，但这种方法行得通，但是当我尝试通过先执行.append（）然后再执行.groupby（’someKey’）。sum（）来重组DataFrame时，我的所有内存都被占用了和python最终崩溃。 如何在有限的RAM量下处理如此大的数据？ 编辑：添加示例代码 下面

本文向大家介绍超大数据量存储常用数据库分表分库算法总结，包括了超大数据量存储常用数据库分表分库算法总结的使用技巧和注意事项，需要的朋友参考一下 当一个应用的数据量大的时候，我们用单表和单库来存储会严重影响操作速度，如mysql的myisam存储，我们经过测试，200w以下的时候，mysql的访问速度都很快，但是如果超过200w以上的数据，他的访问速度会急剧下降，影响到我们webapp的访问速度，而

我正在Quarkus中实现一个方法，它应该向客户端发送大量数据。使用JPA/Hibernate从数据库中读取数据，序列化为JSON，然后发送到客户端。如果没有整个数据在内存中，如何有效地完成此操作？我尝试了以下三种可能性，但都没有成功： 使用JPA中的getResultList，返回一个以列表为主体的响应。MessageBodyWriter将负责将列表序列化为JSON。然而，这会将所有数据拉入内存

Q2-缓存如何帮助这里获得更好的性能，可以使用什么缓存策略？（仅限Mem、Mem和磁盘等）

我有两个pyspark数据帧和，其中比大得多。这些数据流的大小每天都在变化，我不知道它们。我想从中随机选取数据组成一个新的数据帧，其中的大小大约等于的大小。目前我有以下几行： 这些线产生正确的结果。但当的大小增加时，需要几天才能完成。你能建议另一种在Pyspark更快的方法吗？

问题内容： 我有一个tomcat实例设置，但是在一段时间不活动之后，我在其中配置的数据库连接不断消失。 当我检查日志时，出现以下错误： com.mysql.jdbc.exceptions.jdbc4.CommunicationsException：从服务器成功接收到的最后一个数据包是68051秒前。成功发送到服务器的最后一个数据包是68051秒前，比服务器配置的“ wait_timeout”值长。