《大数据分析》专题

#数据人的面试交流地# 中数通 数据岗 2022/11/02 毕设做好了吗，方向是什么 什么是大数据 用过的存储工具 Hadoop和hive的区别 用过的采集工具采集 数据的过滤是怎么做的，再flume定义的拦截器，json异常怎么进行处理 kafka是什么 用过的数据挖掘，体现再哪里 数据的展示 flume和spark分别是什么，什么时候采用 参加过的比赛 比赛中是如何完成，分工，时间，设计，流

#数据人的面试交流地# 2022/09/30 闻泰科技 大数据开发 一面： 为什么当程序员？ 加班接受？ 家人愿意让你去深圳发展吗？ 职业规划 mysql： 索引了解吗 性别适合做索引吗，经常改变的字段适合做索引吗 MySQL的锁 事务的四大特性 事务内增删查改的语句是按顺序执行的吗 视图是什么 数据是怎么存储的 hive：hive在hdfs上的存储格式 怎么看hive表的存储路径 show ta

#互联网公司爆料# 这个公司我是参加的校招，当时面试我的估计是一个组长，问了大数据SQL，以及spark，对于SQL我轻松秒杀，spark当时也学习了没啥压力，面了20分钟直接通过后面是一个技术负责人面我，问了一下hive，MapReduce，Java集合，也是直接通过，感觉技术不难，最后HRBP直接来面我，也是直接过，后面就是直接发offer，薪资真的不高，就11k，13薪吧，我感觉不高直接拒绝

一面 50分钟 自我介绍 http协议是哪一层的协议，讲一下对http的了解 tcp协议和udp协议是哪一层的协议，讲一下他们之间的区别，以及他们各自的应用场景 你知道get和post请求吗，讲一下他们之间的区别 当我们输入美团网址的时候，这个从输入到显示页面的过程 你了解操作系统吗，linux了解吧，你说一下你用过的命令 当我们要查看文件的具体属性用什么命令 讲一下静态链表和动态链表的区别 数据

一面  电话面 40分钟 自我介绍 介绍实时数仓的项目 你这里用到了clickhouse，clickhouse的写入和读取为什么快 flink有哪些算子 flink的窗口函数了解吗 flink的精准一次性如何保证的 kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑 hbase用过吗，rowkey的设计原则是什么 如何解决热点现象 redis的数据结构了解吗 java的spring会吗

1.平常是用python还是java？python和java掌握程度？ 2.hadoop的组成，每部分有什么用。 3.spark掌握的怎么样，SQL练过哪些题。 4.mapreduce源码看过吗？ 5.wordcount的流程。 6.Scala有没有学过？ 然后开始挖简历，还问了我一些业务的问题。 说后面会通知二面，也不知道有没有...

Spark 出问题如何排查 Spark 分区和hdfs block的关系 10000个小文件场景，spark是调整内存配置参数还是调整并行度参数 Spark sql 底层原理 Spark sql如何优化 Hbase region的分裂 #美团#

Kubernetes 在大数据与机器学习中的实践案例。

空间可视化是地理大数据应用的最后一公里。它涵盖了一系列不同的规模，小到单个房产， 大到全球比例尺的海量地景数据的可视化。空间可视化充分利用了地理信息技术的空间数据可视化能力，用地图的方式进行可视化表达，解决了大数据中空间位置表达的问题;同时，利用地理信息技术的空间分析能力，为地理大数据涉及到的大量空间分析提供了处理能力，在空间维度上初步实现了大数据的分析。 区别于普通空间数据可视化，空间大数据可视

数据可视化是关于数据视觉表现形式的科学技术研究。可视化技术是利用计算机图形学及图像处理技术，将数据转换为图形或图像形式显示到屏幕上，并进行交互处理的理论、方法和技术。它涉及计算机视觉、图像处理、计算机辅助设计、计算机图形学等多个领域，成为一项研究数据表示、数据处理、决策分析等问题的综合技术。 随着大数据时代的来临，信息每天都在以爆炸式的速度增长，其复杂性也越来越高；另外，随着越来越多科学可视化的需

在实例详细信息页面中，点击数据库和表部分下的“查看全部”。“数据库和表”页面会以列表显示服务器中的数据库和表和它们的大小。该列表按大小排序。点击左侧窗格中的实例以跳转到其数据库和表页面。

9.11 一面 1.自我介绍 2.介绍实习内容 3.对数仓分层的了解 4.对ab实验的理解 5.对实时了解吗 6.logistic回归的损失函数 7.口述sql：简单窗口 8.反问 9.19约线下，调整成线上 9.26 二面 两个面试官 面试官1: 1.自我介绍 2.更想做数开的工作还是数科的工作 3.解释spark中的水印 4.对实时数仓的了解 5.spark数据倾斜怎么处理 6.设计一个bi产

一面 spark数据倾斜 实习相关 二面 Sql 找出最长连续子序列（row_number) 算法 二叉树层序遍历 mapreduce运行过程 spark.shuffle.partitions的调参原理 Spark小文件参数 怎么确定reduce的数量 bucket join优化的原理 怎么快速根据spark stage找到对应的代码 主题域划分 事实表怎么建模 数仓建模过程 事务的特性 进程和线

10.16投递 10.17一面（50minute） 自我介绍 项目细节 mysql（这里问了很多） 大数据的基本八股 计算机网络tcp 一道sql题，一道算法题 （吐槽一下百度的如流，用网页端看不到聊天框，最后还是下载了客户端才看到，面百度的小伙伴记住面试了要下载如流） 反问:问了一下业务 10.19二面（30minute） 自我介绍 项目细节流程 两个项目的关系 为什么不继续做大模型 实习多久

1.自我介绍 2，实习内容 如何实现数据同步 数据同步过程中遇到的问题有哪些 数据同步过后有没有进行验证 你自己设计数据同步系统要注意哪些问题 3，mybatis 与mybatis -plus 的不同之处 4，mysql 怎么优化 对mysql 的看法 5，手撕删除链表的第n个节点 6，jvm了解吗 7，springboot 有看过源码吗 8，动态代理了解吗 感觉不太妙 像是kpi面一样 竟然没有