《大数据研发实习》专题

当我试图使用Spark DataFrame API将一个巨大的数据集（654 GB）与一个较小的数据集（535 MB）连接（内部）时，我目前面临着一些问题。 我正在使用broadcast（）函数向worker节点广播较小的数据集。 我无法在这两个数据集之间进行连接。以下是我得到的错误示例： 在将大数据集与小数据集连接之前，我尝试将第一个数据集的10000条记录与整个小数据集（535 MB）连接起来

是否有一种方法可以使用SQOOP将数据从hadoop导出到大型机。我对大型机很陌生。我明白我们可以在从大型机到Hadoop的数据中进行sqoop。我浏览了一下sqoop文档，但没有提到任何关于导出的内容 感谢你的帮助。

我在主机里有文件。我希望将这些数据推送到Hadoop(HDFS)/hive。 我可以将Sqoop用于大型机DB2数据库，并将其导入配置单元，但对于文件（如、等）呢

在我的本地设置中，我使用一个简单的H2数据库。“托管”解决方案将有另一个（类似但不相同）数据库。 我需要将最大可能的日期插入到DateTime列中。我试图用 但是，这会导致列中出现-169104626-12-11 20:08:15.9999999。 关于如何插入最长可能日期，是否有可靠的选项？

我有一个返回JSON对象的REST方法，JSON文件大小差不多有7MB，有差不多4600个JSON对象。我无法一次将整个数据解析到recyclerView中，因为这会导致OutOfMemory异常。 我在这里面临的问题是recyclerview显示的ROLL_NUM、CURRENT_CLASS、STUDENT_NAME的值为空 示例JSON响应：{“RESTRESULT”：[{“”ROLL_NUM

我有一个小程序可以用阿帕奇Kafka来计算颜色的数量 创建主题，生产者/消费者开始使用终端： 我在终端中提供了以下输入： 我在消费者终端收到错误: 这里有什么问题？我做了简短的研究，发现了其他人提出的类似问题，但这些解决方案似乎对我不起作用。

我的Codename One应用程序下载了大约16000条数据记录(每条记录中大约有10个字段)。 在我的Android手机(OS6.0，RAM 2GB)上，它能够加载8000到9000条记录，但随后显示内存不足错误。 从跟踪来看，它似乎用完了分配给应用程序的堆内存。 有什么建议吗？请问处理如此大量数据的理想方法是什么？ 这是日志文件

顺丰-大数据挖掘与分析（2021秋招） 顺丰一面： 1.深挖实习，指标体系如何建立，各项指标的权重如何确定 2.逻辑回归算法的原理 3.谈谈对ABtest的认识 4.sql排序窗口函数的区别 顺丰二面： 1.深挖实习，预测为什么选用随机森林算法，如何调参 2.论文项目，简单介绍 3.了解哪些机器学习算法 4.反问 顺丰hr面 1.实习中遇到的困难，如何解决 2.过往经历中，你认为最困难的问题，你是

1、spark shuffle过程，越具体越好，细化到组件，map task以及reduce task具体过程 2、你说bypass shuffle是每个executor节点生成对应reduce task数量的结果文件，那mergesort shuffle呢 3、reduce task 如何知道哪些map task完成了，又是怎么拉取的 4、spark 写文件流程？commit流程？ 5、spar

一面： 8.26--HR面 1.自我介绍 2.特别的经历 3.专业方向 4.做过的项目 5.薪资期待 6.公司的简单介绍，问有些情况是否能接受 二面：9.14--技术面 1.关于大数据技术的认识 2.对Hadoop和Spark的了解 3.对其区别的认识 4.对hadoop特定函数的认识 5.介绍自己了解的窗口函数 6.介绍一个算法，比如支持向量机 7.对自己做过的社会实践的感受 8.反问 三面：9

1自我介绍 2.项目中数据量 3.用户分析维度 4.客户流失分析模型指标 5.oracle和hadoop的了解 等了一个多小时，这就是国内甲方和卑微求职乙方吗？要不是面试官是个声音好听的女生，我大概会骂人吧。 岗位和个人经历不算匹配，我个人经历更偏向数据挖掘，感觉这个岗位更偏向业务分析和数据库。 最后还是再感叹一下，虽然今年秋招求职者的确处于弱势地位，但也不是说招聘单位可以不尊重人吧，起码自己定的

一面 1h20min 0824 由于过去时间太久了，差不多都忘记了，只能回忆起部分。 部门是CTO线-技术与产品部，当时只有1个校招hc和1个社招hc 1. 写题：一个文件系统，有文件夹有文件，需要找到某个特定的文件（好像是这样）递归后要求用BFS写，然后BFS写了一遍； 2. SQL题：题目有些复杂，现在想不起来了，约等于leetcode hard难度的sql题目，用开窗和几个select即可；

一面 30min 仍然记不得了，努力回忆一下 实习数据有多大？ 这么大的数据量需要多少资源？ 多线程的三要素？ Java的内存模型？ 宽窄依赖？ Spark为什么快？ Spark的Shuffle有几种？ （不记得了 二面 20min 用ES或者HBase跟用Hive有什么区别？ 怎么技术选型？ 总结：是吉利下面的子部门，主做出行方面数据，数据量较小，且人员较少。 #数据仓库与数据分析实习##秋招#

三轮面试，进度很快，一周内结束。 第一轮，hr面试 问一些基本情况，8分钟结束。 第二轮，技术面 项目竞赛，过拟合怎么解决，特征筛选方法等等， 12分钟。 第三轮，终面+签约 问了一些基本家庭情况，职业规划等等。面试官长的有点像我初中同学，亲切感倍增。 然后hr介绍薪资。 20w左右薪资，单人单间免费住宿一年，八险二金，房补2500，食堂早中晚分别3，7，7元自助餐，电话网络全免费，感觉不错。 #

二面 1、为什么用seatunnel进行同步，不用dataX？ 2、seatunnel底层引擎是spark，那为什么不直接用原生的spark进行同步呢？ 3、项目有什么做的不够好的？ ODPS相当于hive，多进程写入会产生表锁，没法利用spark的并发优势——1.统一管理ODPS表，每个分区写入一张表，读取的时候直接读取表，然后每天定时进行聚合。这个过程对于用户来说是无感的。2.分布式锁，阻塞的