《大数据开发》专题

我一直在写一个程序，它使用UDP上的停止和等待协议通过局域网和广域网发送数据包。我最近一直在测试我的程序，并注意到较大的数据包（接近64k字节）的丢包率更高。直觉上这是有道理的，但实际原因是什么？

问题内容： 我正在进行的一个项目在不久的将来可能会跨越几百万行，所以我正在研究我使用的数据库，因为这肯定会证明是一个问题。据我所读，一旦涉及到表的2,000,000行问题，SQL的所有形式都会出现问题。对于这些大型项目，有没有推荐好的数据库？ 我正在谈论的是一个网站，归档旧条目并不理想，但是如果证明这是我无法克服的问题，则可以这样做。 谢谢。 问题答案： 我已经在MS SQL Server中使用了

我创建了一个向MySql数据库插入数百万个值的程序。我读到过有关批插入的文章，它将优化我的程序并使其更快，但当我尝试这样做时，它以同样的方式工作。我没有将每个值插入数据库，而是每次将500个值保存在一个列表中，然后将它们插入一个大循环中，如下所示： 然后我删除列表中的所有值，并再次开始收集500个值。它不应该工作得更好吗？ 我的插入代码是： 我有一些问题： 1。为什么当我批量插入时它不能更快地工作

选择题：25题 考试内容有SQL语句，数据库，spark（包括给你一段spark程序让你输出结果），hive，数学（概率论的一些东西） 编程题：两题 1.算法题：一个数=x平方+y平方+z平方，求有多少质数满足这个条件（具体记不清了，大概是这样） 2.sql题：给你日期和工资，求平均涨薪幅度和平均涨薪时间（思路是使用lead窗口函数，然后两列相减） 总结：第一次考试，选择题花了50分钟，一定要把选

1. 自我介绍 2. jvm分区 3. springboot启动过程 4. mysql事务 5. char和varchar 6. char最大是多少 7. git命令以及提交过程 8. redis应用场景，这个比较拿手，实习用的太多了。 9. 反问 一共才18分钟，不知道是不是kpi面试，很基础，点到为止。 希望能有二面，好想去武汉。

1h 1面 自我介绍 项目介绍 事实维度建模的优点 维度建模方法 数仓分层和分主题的理由 OLAP平台了解吗 数据治理了解吗 spark shuffle展开讲一下 spark内存管理模型讲一下，分别存储哪些东西 hadoop优化思路有哪些 如何防止sql引起的数据倾斜 sql对比，找不同，join and和join where两者的区别 一道sql题，提示半天才做出来，对sql不太熟悉，很多了解的

9.22 线下群面，早上面完下午就收到测评 9.26 收到二面通知 9.28 二面 9.29 感谢信 9.28 二面 自我介绍 科研项目介绍、科研项目中存在哪些问题和瓶颈？ Mapreduce 和 Hadoop 的工作原理、区别和联系？ 旋转链表如何实现？(很简单的一个问题，一直和我扣细节纠结好久....) 反问 #美的##凉经#

saas平台,商城商品模块相关表设计 交以下内容 初始化数据 1.表数据字典 2.生成语句 3.自行模拟的数据导入语句 业务数据 1.后台新增语句 2.后台修改语句#秋招#

题型：20道选择题，3道编程题，其中第一题写SQL 笔试太难了？可以私信我 有些AC有些通过率还行，助攻已经进面了 选择题： 下列排序中需要额外辅助空间的期望值最大的是() 堆排序 希尔排序 快速排序 冒泡排序   双十一快到了,某服装厂为了赶制订单,加班加点使用设备生产衣服。如果某一设备在时间长度为的时间内发生故隙的次数服从分布N(t)～P(λt) (H松分布)，求该设备在无故障工作8小时后再次

1.自我介绍 2.MR了解吗 3.MR map任务个数怎么确定的 4.Spark job task等怎么划分的 5.数据倾斜问题 解决方案 6.导致出现问题可能有哪些方面？数据倾斜 oom 小文件问题 7.数仓概念 分层相关 8.事实表和维度表 9.维度和维度属性 10.数仓建模相关 11.实际开发中，是选择维度多一些提高复用性还是少一些再拓展？ 12.维度的界限你觉得怎么设置比较合理？ 13.平

秋招第一面给了平安产险，投的平安产险总部科技管培生-数据开发，9月11投递的，9月16测评，9月18笔试，9月27开始一面。 3点59分，面试官准时打来电话，首先是自我介绍，然后面试官让介绍实习的项目，后面会根据简历上你写的东西问，其实也是岗位要求写的那些，问了数仓分层，还有java垃圾回收机制，数据结构，数学建模等方面相关的，历时23分钟，虽然答得不好，但是面试官也没让我难堪，说自己当时也是这么

# 一面 9.18 自我介绍 实习工作用的什么计算架构、开发节点怎么调度的、数据量多大、每天跑多久 介绍spark shuffle 阿里用的olap数据库是什么 阿里的onedata建模规范 了解clickhouse吗 可以接受来实习吗 你对自己的规划是什么 （到这里只有十几分钟，问我有什么想问的） 开始反问 # 二面 9.19 自我介绍 介绍Hadoop 介绍spark任务执行流程 Spark几

1.自我介绍 2.数据仓库分层 3.介绍项目 分工 难点 数分和数挖哪部分做的多 4.三范式 5.事务基本特性 6.存储和函数有什么区别（没懂） 7.为什么来杭州 8.反问

一轮技术面 已oc 自我介绍 数据倾斜 工作中遇到不会的技术栈怎么办 和业务方沟通的case

一面： 自我介绍 专业主修大数据什么方面 hadoop有什么组件 数仓分层有那几层各自有什么作用 等等常见的问题 手撕sql编程，见过，应该是利扣的，想了半天差点没想出来，中等难度？ 面试官人很好，不紧不慢不会催你 我慌的一比 一共三面，等待后续更新 #面经#