《大数据开发面经》专题

11.9 一面（25min）： 1.自我介绍 2.怎么看待加班、团队合作 3.问设计模式了解多少，我说单例模式（饿汉、懒汉、双重校验+锁） 4.枚举实现单例模式 5.问看过什么书 6.MySQL索引底层 7.MySQL事务实现原理 8.事务隔离级别 9.模糊查询索引失效的情况 10.SQL优化 11.用什么分析具体的SQL语句、type字段表示什么 12.创建线程的方式 13.Runnable和C

自我介绍+实习在干啥+他干的什么。 为什么不搞算法了。 体现代码量的有哪些。 iso七层协议，说一说登录百度用了哪些层，越具体越好。 SQL索引是什么，什么数据结构，时间复杂度。 线程和进程，进程通信的方式。 进程调度算法 迭代和递归，所有递归都可以被迭代吗？ 代码:二叉树，快排。 写面筋，攒人品。快乐你我他。问的有点深。

概述：5月9号三面，腾讯会议，40分钟，主要问项目的性能测试和对后台开发的一些思考，答得不是很好，一度以为会挂，但5月11号还是进入HR面了，最终5月13号OC，这两面的问题不多，一并发出来，有些我就不发我的蹩脚答案了 三面： 1.自我介绍 2.项目是高性能服务器，性能有多高？（讲性能测试，因为一面面试官提过Nginx，就说了下和Nginx的对比） 3.所以说这个服务器可以替换Nginx吗？很多面

四面没问技术问题，应该是hr面？但是官网显示复试 时长：20min 面试内容： * 自我介绍 * 简历上的算法介绍下 * 去实习遇到什么问题，为什么去实习 * 能实习多久 * 想做算法还是开发 * 项目遇到的困难怎么解决 * 如果进来要转golang，会怎么学习？ 反问： * 转正率：未知（但是招实习，秋招也会有hc 高不可攀的鹅子能否给我个救赎的机会

我一直在写一个程序，它使用UDP上的停止和等待协议通过局域网和广域网发送数据包。我最近一直在测试我的程序，并注意到较大的数据包（接近64k字节）的丢包率更高。直觉上这是有道理的，但实际原因是什么？

问题内容： 我正在进行的一个项目在不久的将来可能会跨越几百万行，所以我正在研究我使用的数据库，因为这肯定会证明是一个问题。据我所读，一旦涉及到表的2,000,000行问题，SQL的所有形式都会出现问题。对于这些大型项目，有没有推荐好的数据库？ 我正在谈论的是一个网站，归档旧条目并不理想，但是如果证明这是我无法克服的问题，则可以这样做。 谢谢。 问题答案： 我已经在MS SQL Server中使用了

我创建了一个向MySql数据库插入数百万个值的程序。我读到过有关批插入的文章，它将优化我的程序并使其更快，但当我尝试这样做时，它以同样的方式工作。我没有将每个值插入数据库，而是每次将500个值保存在一个列表中，然后将它们插入一个大循环中，如下所示： 然后我删除列表中的所有值，并再次开始收集500个值。它不应该工作得更好吗？ 我的插入代码是： 我有一些问题： 1。为什么当我批量插入时它不能更快地工作

选择题：25题 考试内容有SQL语句，数据库，spark（包括给你一段spark程序让你输出结果），hive，数学（概率论的一些东西） 编程题：两题 1.算法题：一个数=x平方+y平方+z平方，求有多少质数满足这个条件（具体记不清了，大概是这样） 2.sql题：给你日期和工资，求平均涨薪幅度和平均涨薪时间（思路是使用lead窗口函数，然后两列相减） 总结：第一次考试，选择题花了50分钟，一定要把选

一面 简历面，如果过往实习项目由机器学习等，比较关心其中数据预处理和特征处理，没有问coding和模型延伸问题（八股） 二面 对于项目中涉及的某个优化算法特别感兴趣，深挖概念、流程、优点、公式等 （第一次也是目前唯一被问到这个细节，真的要对简历熟悉） 压力大的时候喜欢干什么 hr面 为什么想来深圳 深圳还投了哪些公司 十一前发意向 总体觉得顺丰的问题难度很看分配到的面试官，和身边同学交流，有的就会

问题内容： 我有一个Java应用程序，它需要显示大量数据（大约一百万个数据点）。数据并不需要全部同时显示，而仅在用户请求时才显示。该应用程序是桌面应用程序，未与应用程序服务器一起运行或未与任何集中式数据库连接。 我的想法是在计算机上运行数据库并在其中加载数据。在大多数时候，数据库都是只读的，因此我应该能够建立索引以帮助优化查询。如果我在本地系统上运行，则不确定是否应该尝试实现一些缓存（我不确定查询

问题内容： 在HighChart中，我需要针对x和y轴绘制一系列数据。HighChart希望数据为json格式。即[[x，y]，[x，y]……[x，y]]。其中x和y是时间（1392345000-Unix纪元格式）和值（49.322）。因此，我正在进行ajax调用以获取数据，并成功将json返回的数据渲染为highchart。在大多数情况下，即，如果data（[x，y]）的计数低于87500行，则

一、大数据处理流程 上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解： ### 1.1 数据收集 大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如

我有一个500GB的csv文件和一个1.5 TB数据的mysql数据库，我想运行aws sagemaker分类和回归算法和随机森林。 aws sagemaker能支持吗？模型可以批量或分块读取和训练吗？它的任何例子

我总共有96个视频。我已经使用ffmpeg转换了大部分视频，但对于某些视频，它会给我带来一些错误。作为第一步，我使用以下命令将视频逐行扫描： 我得到以下错误： [rawvideo@0x7fa144008c00]缓冲区大小无效，数据包大小2073600 当我试图获取有关视频的信息（）时，我得到以下信息： [IMGUTILS@0x7fff5bac8140]图片大小0x0无效 [IMGUTILS@0x7

我有一个大型机应用程序叫做sunet，这里有一些记录。我想使用vba宏提取excel中的数据。我自己也试过，但我不知道如何在大型机和Excel之间建立连接。请告诉我怎么做这件事。谢了。