《大数据测试》专题

“...如果这不可行，RFC4122建议使用命名空间变体，如类型5 UUID。” 我计划使用Java生成UUID，并引用了API https://docs.oracle.com/javase/8/docs/API/Java/util/UUID.html 通过维基百科：

0：自我介绍必不可少的 1：数仓的数据从哪里来的？多少数据？ 2：数仓分层 3：DWD层如何保证和ODS层的一样的数据粒度，如何提供数据质量保证？ 4：什么阶段进行数据清洗？ 5：数据量很大的时候每层都进行数据清洗吗？如何解决 6：ETL过程中，数据出现问题了如何预警？ 7：团队合作的时候如何保证数仓分层的规范？ 8：Hive的调优（项目写到了这个） 9：什么是zookeeper？ 10：zook

30左右的一位前辈  25min 自我介绍 为什么选择大数据这个方向 从想要计算的效果，各方面使用的组件，还有最后的结果来介绍下项目 为什么用ES 项目难点说一下 说一下你是怎么理解Spark 的 说一下Java 多线程 Java 讲一下锁机制，说一下读写锁的实现原理 JVM 垃圾回收机制讲一下 反问 业务场景？ 主要的难点？ #海康威视##大数据开发工程师#

30min 自我介绍 项目介绍 项目难点介绍 hadoop组件有哪些 hdfs简单介绍 hdfs怎么实现高可用，具体 是哪个进程在zk上注册临时节点 hdfs怎么防止脑裂 hdfs写流程，写到一半client发生OOM之后该怎么办，datanode宕机怎么办 怎么实现nn切换，而客户端无感的 Spark提交作业的流程 Executor内存管理，分别存储什么 spark shuffle有哪些，讲一下

35min 1面 自我介绍 排序算法知道哪些 稳定的排序算法有哪几种 mr和spark的区别 bitmap解释一下 bitmap用途有哪些 布隆过滤器的原理 一道dp题，口述思路没想出来。。。 三道业务场景题 30min hr面 常规hr面 vivo流程真快，爱了，九月底开奖 #大数据开发##大数据开发工程师#

​1、自我介绍 ​2、数据仓库为什么要分层，目的是什么 ​3、DWS层和DWT层是怎样划分的 ​4、PV和UV分别是什么 ​5、数据仓库建模的两种形式 ​6、范式建模中的第三范式的原则 ​7、维度建模中最常见的建模形式是什么区别是什么 ​8、如何评判数仓的优劣性 ​9、MR流程是写的MR程序，还是通过hql ​10、用户留存率的计算公式 ​11、HDFS的写流程 12、MR的底层原理 ​13、MR

一面 1、自我介绍 2、先问实习内容，实习涉及了实时数仓，细问了一些点 3、再问项目内容，做的是离线数仓 4、离线数仓的数据源有哪些？是怎么收集这些数据的？ 5、离线数仓是怎么分层的？分层依据是什么？ 6、JVM的内存模型介绍一下 7、说一下你知道的垃圾回收算法 8、MySQL的存储引擎有哪些？ 9、做过哪些HiveSQL优化？或者说你了解哪些优化措施？ 10、怎么解决数据倾斜问题？ 11、有接触

#互联网公司爆料# 这个公司我是参加的校招，当时面试我的估计是一个组长，问了大数据SQL，以及spark，对于SQL我轻松秒杀，spark当时也学习了没啥压力，面了20分钟直接通过后面是一个技术负责人面我，问了一下hive，MapReduce，Java集合，也是直接通过，感觉技术不难，最后HRBP直接来面我，也是直接过，后面就是直接发offer，薪资真的不高，就11k，13薪吧，我感觉不高直接拒绝

一面 50分钟 自我介绍 http协议是哪一层的协议，讲一下对http的了解 tcp协议和udp协议是哪一层的协议，讲一下他们之间的区别，以及他们各自的应用场景 你知道get和post请求吗，讲一下他们之间的区别 当我们输入美团网址的时候，这个从输入到显示页面的过程 你了解操作系统吗，linux了解吧，你说一下你用过的命令 当我们要查看文件的具体属性用什么命令 讲一下静态链表和动态链表的区别 数据

一面  电话面 40分钟 自我介绍 介绍实时数仓的项目 你这里用到了clickhouse，clickhouse的写入和读取为什么快 flink有哪些算子 flink的窗口函数了解吗 flink的精准一次性如何保证的 kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑 hbase用过吗，rowkey的设计原则是什么 如何解决热点现象 redis的数据结构了解吗 java的spring会吗

1.平常是用python还是java？python和java掌握程度？ 2.hadoop的组成，每部分有什么用。 3.spark掌握的怎么样，SQL练过哪些题。 4.mapreduce源码看过吗？ 5.wordcount的流程。 6.Scala有没有学过？ 然后开始挖简历，还问了我一些业务的问题。 说后面会通知二面，也不知道有没有...

Spark 出问题如何排查 Spark 分区和hdfs block的关系 10000个小文件场景，spark是调整内存配置参数还是调整并行度参数 Spark sql 底层原理 Spark sql如何优化 Hbase region的分裂 #美团#

Kubernetes 在大数据与机器学习中的实践案例。

空间可视化是地理大数据应用的最后一公里。它涵盖了一系列不同的规模，小到单个房产， 大到全球比例尺的海量地景数据的可视化。空间可视化充分利用了地理信息技术的空间数据可视化能力，用地图的方式进行可视化表达，解决了大数据中空间位置表达的问题;同时，利用地理信息技术的空间分析能力，为地理大数据涉及到的大量空间分析提供了处理能力，在空间维度上初步实现了大数据的分析。 区别于普通空间数据可视化，空间大数据可视

数据可视化是关于数据视觉表现形式的科学技术研究。可视化技术是利用计算机图形学及图像处理技术，将数据转换为图形或图像形式显示到屏幕上，并进行交互处理的理论、方法和技术。它涉及计算机视觉、图像处理、计算机辅助设计、计算机图形学等多个领域，成为一项研究数据表示、数据处理、决策分析等问题的综合技术。 随着大数据时代的来临，信息每天都在以爆炸式的速度增长，其复杂性也越来越高；另外，随着越来越多科学可视化的需