《数据产品》专题

一面 英文自我介绍 mr的shuffle zookeeper选举 spark内存管理 hbase中region的拆分 数仓中都有什么表 怎么处理缓慢变化维，拉链表有用过吗 yarn的架构 namenode ha的实现 namenode启动过程中怎么确定哪个是active哪个是standby spark sql用的多吗 手撕 中等leetcoode，合并区间 二面 自我介绍 家哪里的 对博世有什么了

一面：55min 0、自我介绍 1、介绍一下项目，一个离线，一个实时。离线Hive on Spark 实时：Flink + Kafka 2、Spark作业流程、Client，Cluster模式 3、Flink水位线，窗口，FlinkSQL，时间语义和SparkStreaming区别 4、Hive事实表、应用场景 5、实时项目怎么做的，FlinkSQL怎么用的 6、查找算法，排序算法有啥，说说冒泡，

主要内容：FLOAT和DOUBLE,浮点数与定点数,TIMESTAMP和DATETIME,char与varchar,BINARY与VARBINARY类型,BLOB类型1.整数类型 2.浮点类型 3.定点数 4.位类型：BIT 5.日期类型 6.文本字符串类型 7.TEXT类型 8.ENUM类型 9.SET类型 10.二进制字符串类型 11.JSON类型 1.整数类型 整数类型 大小 有符号范围 无符号范围 描述 TINYINT 1byte (-128,127) (0,255) 小整数值 SMAL

fink生态 spark生态 hadoop生态 大数据技术体系与主流技术栈

2018年的20个主要的大数据认证 “大数据”一词反映了一个非常实际的增长趋势。到2020年，每个人每秒将产生1.7MB数据。根据调研机构IDC公司的调查，2020年全球数据量将增加到44万亿GB。数以亿计的智能手机和数十亿台物联网(IoT)设备每分钟产生的近300万个Facebook帖子和近300万个视频，每秒约有40,000次谷歌搜索查询。 而大数据认证的数量也在不断增加，尽管不尽相同。这些资

主要内容：一、什么是THD,二、数据结构定义和分析,三、应用,四、总结一、什么是THD 是非常非常不想说这个数据结构的，按照设计原则和设计思想，这个类就是个让人无语的。可存在，就有它的道理，绕是绕不过去的。先看一下它的继承结构： 这个类在前面提到过，它是对线程描述的一个数据结构。MySql里用到线程的地方不少，那么理所当然的这个THD类用到的地方也不少。在前面分析网络操作的时候儿就看到这个类的身影，讲真，是不想分析这个类的，不是说这个类多难，是这个类承载的东西太多。

主要内容：一、VIO数据类型,二、MySql中的定义,三、应用,四、总结一、VIO数据类型 VIO是一个数据结构，在include/violite.h中定义的说明中有一句话“This structure is for every connection on both sides.Note that it has a non-default move assignment operator, so if adding more members, you’ll need

在网点图层内，一旦上传了数据，图层内可针对已上传数据，进行更新上传 匹配字段：需要指定与已有数据建立关系的“匹配字段”，即需要更新的新文件里，要有一个字段与原有数据表里某个字段相同 会根据相同的匹配字段，对该文件里其他属性值进行更新操作 追加策略：对更新表里新增的行、和列的处理方式，默认直接追加在原表格内；可以选择忽略

基础数据作为地图内所有数据的存储，分为三类： 点数据 面数据 线数据 由此划分三类图层进行存储： 网点图层 区划图层 线路图层 注意： 同类型数据可以放置在一个图层里，不支持跨类型存在一个图层 同类型数据可以建立多个图层进行分组管理 图层支持多层级结构，但必须类型相同；例如：一级图层建立的网点图层，它里面创建的子图层都是网点类型的，不能存放面数据、线数据；其他类型同理； 网点图层 应用场景包括：

系统可以新增点/线/面等类型数据，包括两种方式自定义字段创建，以及上传excel表格两种方式，所有创建的数据必须包含“名称”列。单击下一页了解详细操作过程。 5.1 自定义字段创建 5.2 通过上传文件创建

在“数据管理”页面，点击数据列表右侧的“操作”-“动态”按钮进入该功能 。 动态数据功能，可以记录数据的额外信息，例如历史巡检，拜访记录，不同维度数据展示等。每个数据可以有多个动态。 添加动态模板 在弹出窗口页面，首先点击左下方“新增”按钮，此时会新弹出一个新窗口，在上方输入动态数据名称，下方输入相应字段，最后单击保存按钮，即可将该动态模板添加到数据中。以此类推可以对数据添加多个动态。最后还需单击

在“数据管理”页面，上方的“追加数据”按钮进入该功能 。 1.该功能会将“源表”里的数据全部复制到“目标表”中 2.两张表的数据类型必须一致。 3.两张表对应列名次序必须完全相同。

在“数据管理”页面，单击上方 按钮可以对您数据表根据和其他表的连接关系进行更新。 对不同表之间，用字段或空间链接，可以将需要统计或增加的字段，更新到需要展示的数据表中。 例如下图中的更新内容是统计上海每个行政区内的某超市数量： 在进行数据更新时，需要选择二张表之前的字段或空间联系，针对统计上海每个行政区内的某超市数量，则需要做空间对象的联接： 其中“包含于”指点图层被“包含于”面图层。“包含”指面

在“数据管理”页面，点击数据列表右侧的“操作”-“改名”按钮 可以对数据的名称进行修改。 选择数据后的“操作”-“删除”，可对某单一数据进行删除。请注意该操作会删除所有由该数据创建的图层。 选择数据后的“操作”-“备份”，可对某单一数据进行备份。该操作会对该数据建立一个副本，对原数据修改不会对备份的数据产生影响。 选择数据后的“操作”-“坐标”，可对对数据进行坐标转换。不同底图所采用的坐标不一样，

数据列表右侧“字段”按钮可以查看某一数据的所有字段，并对字段进行调整。其中操作按钮是灰色的表示是系统字段不可以修改名称及删除。 新建字段时请注意选择数据类型，数值字段才可以用于统计。 1字段操作功能 从左到右依次是修改字段名称，删除字段，字段上移，字段下移 2新增 增加新的属性字段。 3保存 修改完成后点击保存才会生效