《大数据开发工程师》专题

Timeline： 9.1 投递 9.14 笔试 9.25 一面 11.1 二面  技术+HR面 9.25 一面 23min： 1.项目经历 2.数仓分层 3.数仓执行引擎 4.Sql关键字执行顺序 5.Mysql索引引擎 6.Innodb和myisam区别 7.Flink基本算子 8.Map和flatmap 9.Keyby 10.数据倾斜 怎么定位 11.Hive分区表和非分区表 12.增加或删

投递岗位：后端开发工程师（西安） 投递base：西安 投递时间线：9.19投递，10.20收到笔试邀请链接，10.23笔试 考试内容：固定时间19：00-20：10，4部分，使用国考平台，除了编程其它都部分提交完不可修改。 1.行测数学：10道，类似行测里的数学计算，感觉更简单一点，排列组合更多更难一点。 2.单选：45道，涉及数据库，计算机网络，操作系统，java语言基础，数据结构等等，有难度，

1. 自我介绍 2. 单测怎么测试? 3. 你们的代码写完之后写测试代码吗 4. 项目相关的一个重放攻击 5. HashMap,HashTable,TreeMap的区别 6. 线程安全用哪个? 7. 线程池参数和扩展过程 8. 阻塞队列有哪些? 9. 一个线程如果两次调用start方法会怎么样?(这里其实会抛异常,答错了) 10. JVM内存区域 11. 会溢出的区域有哪些? 12. 垃圾处理器有

在现公司干得有点憋屈，想跑路了，得先找一下感觉，看差点啥，再补补，明年拿了年终就可以跑了。 一上来，不多说，自我介绍。 然后介绍项目，介绍完开始抠细节： 1、团队多少人？数据量多少？ 2、业务调研怎么做的？ 3、如何确定主题域的？ 4、怎么分层的？ 5、为什么这么分层？ 6、各个表抽取策略是怎样的？如何确定增量抽还是全量抽？ 7、数据质量怎么保证的？ 8、数据开发规范是怎么样的？ 9、任务是怎么调

问题内容： 在学习pandas的过程中，我试图迷惑了这个问题很多月。我在日常工作中使用SAS，这非常有用，因为它提供了核心支持。但是，由于许多其他原因，SAS作为一个软件还是很糟糕的。 有一天，我希望用python和pandas取代我对SAS的使用，但是我目前缺少大型数据集的核心工作流程。我并不是说需要分布式网络的“大数据”，而是文件太大而无法容纳在内存中，但文件又足够小而无法容纳在硬盘上。 我的

问题内容： 是否可以为工作过程增加“最大打开文件数”参数？我的意思是这个参数： 感谢您的建议 问题答案： 作为系统管理员 ：在大多数Linux安装中，此文件控制此文件；它允许您设置每个用户的限制。您需要一条像这样的线。 在一个进程内 ：getrlimit和setrlimit调用控制大多数每个进程的资源分配限制。控制文件描述符的最大数量。您将需要适当的权限才能调用它。

2023春招找实习的同学跟我分享了他的面试经历，在这里我进行了一些总结梳理，然后发出来供大家学习 1. 自我介绍 2.八股文 hive的数据类型有哪些 hive中计算排名前N的函数有哪些 hive的优化手段你知道哪些 遇到过数据倾斜吗 mapjoin如何开启，参数是什么 3.SQL题 rt_ data表存放了当天每半小时的店铺销售数据，表名: rt_ data，字段名: shop id (店铺id

上来先自我介绍然后让自己挑一个项目介绍。后续面试官问了很多问题 1 特征工程如何做 2 特征筛选都有哪些介绍一下 3 随机森林原理 4 支持向量机介绍一下 5 深度学习框架会哪些介绍一下 6 transformer介绍 7 attention机制都有哪些介绍一下 8 lstm原理以及相比于rnn的优势 9 时间序列预测都有哪些方法 10 介绍一下arima算法 11 数据库都会哪些 12 深度学习

单选5题、不定选择5题： 考的很广但是不太难，涉及了设计模式、网络、操作系统、数据结构、数据库等等 编程一题： 考的是路径相关的问题，难度在力扣中等到困难范围，按照数据点得分，一般解能过大部分。我过了90%就放弃了。 附加题： 考的是大量无人机图片如何进行存储，我答的是深度神经网络提取特征，采用主从式多服务存储，元数据建立索引，用Redis和负载均衡优化。 八股背的太早了忘差不多了，人生中的第一次

Electron支持Chrome DevTools 扩展程序，可增强开发工具调试流行web框架的能力 DevTools Extension Electron supports the Chrome DevTools Extension, which can be used to extend the ability of devtools for debugging popular web fra

5/5一面 5/14 二面 5/18 hr面 5/19 OC 一面(1h10min) 1.自我介绍一下 2.介绍一下你的项目   2.1 Mysql全量数据规模   2.2 既然Mysql能存储，为什么要导入到hive中 3.说一下MySQL的ACID特性 4.脏读和幻读分别是什么含义 5.spark持久化的级别和作用 6.spark任务出现数据倾斜有哪些方法解决 7.hive没办法创建分区怎么理

大概是今年五月初面试了荣耀大数据的Java开发港，面试官全程基本什么都没有问。也没有问一些八股文的问题，也没有问算法题。 就是轻蔑地看了一眼我的简历，然后问你的项目是自己做的，还是根据别人的来做的，然后直接说你做的这个项目怎么这么简单，因为我还有一个机器学习的项目，然后他就随便问了项目做什么的。 最离谱的是他说你有机器学习的经历，那么我推荐你去客户端。 总之全程什么技术问题都没有问你，也没有问项目

部门：网易云 8.23约面，8.25 一面 8.29 二面。8.30 hr面 一面： 45min左右 1.自我介绍 2.说说项目用到了哪些技术 3.你刚刚说到了即席查询，项目里是怎么做的。 4.四道sql，十分钟后对答案 5.笛卡尔积了解吗。 6.笛卡尔积会产生什么问题。 7.你刚刚说到了数据倾斜。介绍一下。 8.笛卡尔积就会产生数据倾斜吗 9.mr流程介绍一下 10.你多久能来实习 11.你刚刚

🍆 数仓方向 9.19 一面 第二天就挂了 自我介绍，科研项目介绍(项目相关问题提问) 1)   内部表和外部表的区别？ 2） 窗口函数？ 3)   知不知道比HDFS活跃度更高的产品？ 4） Zookeeper常用得场景和用法？RATF协议了解吗？ 5） CAP原理？一致性的概念？ 6） Hadoop如何保证一致性？ 7） Hadoop生态圈和MySQL等分布式数据库的区别? 8） Hive支

9.22 一面 1h 自我感觉挺好的还，9.26挂了 1）自我介绍 2）两个项目介绍 3）Hadoop的元数据存在哪里？ 4）什么是缓慢变化维？拉链表的数据具体是怎么更新？并举例 5）Kafka的零拷贝机制？ 6）对RDD的了解 7）哪些情况下会发生索引失效？ 手撕代码     1）无重复字符的最长子串 双指针+map     2） 求出数组中最小的n个数     3） 求出每个部门的薪资前三的用