《大数据测试》专题

我的Codename One应用程序下载了大约16000条数据记录(每条记录中大约有10个字段)。 在我的Android手机(OS6.0，RAM 2GB)上，它能够加载8000到9000条记录，但随后显示内存不足错误。 从跟踪来看，它似乎用完了分配给应用程序的堆内存。 有什么建议吗？请问处理如此大量数据的理想方法是什么？ 这是日志文件

顺丰-大数据挖掘与分析（2021秋招） 顺丰一面： 1.深挖实习，指标体系如何建立，各项指标的权重如何确定 2.逻辑回归算法的原理 3.谈谈对ABtest的认识 4.sql排序窗口函数的区别 顺丰二面： 1.深挖实习，预测为什么选用随机森林算法，如何调参 2.论文项目，简单介绍 3.了解哪些机器学习算法 4.反问 顺丰hr面 1.实习中遇到的困难，如何解决 2.过往经历中，你认为最困难的问题，你是

1、spark shuffle过程，越具体越好，细化到组件，map task以及reduce task具体过程 2、你说bypass shuffle是每个executor节点生成对应reduce task数量的结果文件，那mergesort shuffle呢 3、reduce task 如何知道哪些map task完成了，又是怎么拉取的 4、spark 写文件流程？commit流程？ 5、spar

问问有没有大佬们大数据开发的实习经历啊，我怎么感觉隔着天天写sql 老是遇到这种实习岗，一天全面试完，急招岗， 没什么参考价值，应该oc了，因为我不想立马去，发of要排序吧 一面（9.6 上午 50min） 1.自我介绍 2.问实习经历问了很久 3..五道sql题 4.数仓理论 二面（9.6 晚上 1小时） 1.自我介绍 2.问实习经历 3.sql题 4.mapreduce的流程及其shuffle

一面30min 自我介绍 选一个最熟悉的结构 说一下原理 特点 怎么使用 hive数据倾斜 内部表外部表 文件存储格式 行转列 列转行 sql题目  项目中有用hive解析json数据吗 实习在做什么 介绍实习项目 实习公司数据仓库怎么分主题的 业务需求是你自己一直在沟通吗 想做数仓还是平台 你觉得对业务了解的怎么样 base想南京还是深圳 二面 介绍实习在干嘛 实习项目怎么做的 项目几个人做 你

一面 1h20min 0824 由于过去时间太久了，差不多都忘记了，只能回忆起部分。 部门是CTO线-技术与产品部，当时只有1个校招hc和1个社招hc 1. 写题：一个文件系统，有文件夹有文件，需要找到某个特定的文件（好像是这样）递归后要求用BFS写，然后BFS写了一遍； 2. SQL题：题目有些复杂，现在想不起来了，约等于leetcode hard难度的sql题目，用开窗和几个select即可；

一面 30min 仍然记不得了，努力回忆一下 实习数据有多大？ 这么大的数据量需要多少资源？ 多线程的三要素？ Java的内存模型？ 宽窄依赖？ Spark为什么快？ Spark的Shuffle有几种？ （不记得了 二面 20min 用ES或者HBase跟用Hive有什么区别？ 怎么技术选型？ 总结：是吉利下面的子部门，主做出行方面数据，数据量较小，且人员较少。 #数据仓库与数据分析实习##秋招#

三轮面试，进度很快，一周内结束。 第一轮，hr面试 问一些基本情况，8分钟结束。 第二轮，技术面 项目竞赛，过拟合怎么解决，特征筛选方法等等， 12分钟。 第三轮，终面+签约 问了一些基本家庭情况，职业规划等等。面试官长的有点像我初中同学，亲切感倍增。 然后hr介绍薪资。 20w左右薪资，单人单间免费住宿一年，八险二金，房补2500，食堂早中晚分别3，7，7元自助餐，电话网络全免费，感觉不错。 #

面试时长18分钟，问的问题很基础，还是看简历或者学历下菜吧 1、学大数据学了多久，我说今年1月开始学的，他说这么短的时间能明白吗？这8个月还能一点都学不明白吗？ 2、问了下实习内容，没深挖 3、hdfs的高可用，太紧张把namenode说成nodemanager了，后来才反应过来，就这个问题回答的有问题 4、hive的窗口函数 5、hive和rdbms的区别 6、hive的调优方面 7、spark

二面 1、为什么用seatunnel进行同步，不用dataX？ 2、seatunnel底层引擎是spark，那为什么不直接用原生的spark进行同步呢？ 3、项目有什么做的不够好的？ ODPS相当于hive，多进程写入会产生表锁，没法利用spark的并发优势——1.统一管理ODPS表，每个分区写入一张表，读取的时候直接读取表，然后每天定时进行聚合。这个过程对于用户来说是无感的。2.分布式锁，阻塞的

面试时间：1h 10min 自我介绍 实习工作的一些问题 项目相关的一些问题 Java基本数据类型？ String为什么不是基本数据类型？能不能继承？ 如果需要频繁地拼接字符串用什么？为什么？ StringBuffer、StringBuilder 的区别？ Java的集合类了解吗？都有那些？它们的继承关系是怎么的？ 讲讲HashMap？ HashMap多线程下怎么办？多线程的HashMap它的原理

面经：主要看学历40%、项目经历30%、籍贯30%，一共17分钟 1.自我介绍 2.负责项目和擅长的编程语言（注意：项目大小由面试官判断） 3.hdfs流程 4.编程语言八股（好笑的是说python面试官都蒙，说Java才能走流程 5.项目追问 遇到问题： 1.非硕不要报，就是刷kpi的，海外本科可以报下，有点恶心； 2.非当地省份户籍的慎重，否则同样kpi，面试官比较看重这一点，对外地很会阴阳怪

一面： 感觉一上来就是主管面，主业务面，考验业务能力和沟通能力 介绍下专业的课程，说说最喜欢哪一门，为什么 直接问实习经历 实习中的项目，扣细节（大部分时间都在问这个） 在同程做了什么业务 广告业务数仓负责哪些东西 广告投放的指标，如曝光、转化等等 广告有哪些类型 聊聊广告投放流程，投前、投中、投后 投中的过程每一轮具体的事情 对比hive和spark 为什么业界都用spark不用mr了 聊聊fl

对于 Linux 系统小白，如何用最快的方式搭建一套简易的大数据系统。 安装 JDK # tar -xvf jdk*.tar.gz /home/softwares #解压java的tar包 将/etc/profile添加附录B文件profile中内容。 export JAVA_HOME=/home/softwares/ jdk1.7.0_67 PATH=$PATH:$JAVA_HOME/bin

我是学数学的2024应届，本科阶段有选过大数据的专业选修课，但是编程语言真的不太会，跟科班出身的计院同学没法比，今年数分岗又卷到爆炸，双选会问了几个公司都说数分岗爆满（快手中移信息技术中心），只好一并找找其他方向，上周笔试以为铁挂了就没怎么准备，结果昨天晚上22点发今天的一面邀，一个晚上加上午恶补大数据知识。面试官非常和蔼： 问项目： 大数据技术实验做了什么东西？是为了实现什么？（本科课程里的实验