《大数据开发》专题

我正在设计一个微服务架构中的评审分析平台。 应用程序如下所示； null null 问题在于，验证服务需要获取site-a的所有评论，应用验证规则并生成错误（如果有的话）。我知道共享数据库模式和实体打破了微服务体系结构。 一个可能的解决方案是 每当验证服务需要对站点进行审查时，它就会请求网关，网关会将请求重定向到审查服务并采取响应。 这种方法的两个可能缺点是 验证服务是否知道网关？是否会带来依赖？

我正在尝试用H2O（3.14）训练机器学习模型。我的数据集大小是4Gb，我的计算机RAM是2Gb，带有2G交换，JDK 1.8。参考本文，H2O可以使用2Gb RAM处理大型数据集。 关于大数据和GC的说明：当Java堆太满时，我们会进行用户模式的磁盘交换，即，您使用的大数据比物理DRAM多。我们不会因GC死亡螺旋而死亡，但我们会降级到核心外的速度。我们将以磁盘允许的速度运行。我个人测试过将12G

null 由于oracle clob字段可以包含4GB(max)的数据，是否有使用SQLPlus获得完整数据块的正确方法？我可以把它作为文件下载吗？ 我希望问题是清楚的。我更喜欢在不向数据库注入PL/SQL过程的情况下做到这一点。

我试图用java解码JWT负载，但是这个负载被压缩/压缩了 JAVAutil。拉链DataFormatException:标头检查不正确 其他一些使用其他编程语言的人能够用这个解决这个问题，他们想知道我将如何用java实现这一点？

介绍下MapReduce ● 1.1 MapReduce定义 ○ MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 ○ MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个 Hadoop 集群上。 MapReduce优缺点 ● 1.2 MapReduce优缺点 ○ 1.2.

介绍下YARN ● Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 YARN有几个模块 ● Yarn架构 ○ ResourceManager（RM）： ○ NodeManager（NM）： ○ ApplicationMaster（AM）： ○ Container： YARN工作

字节面经 项目的数据来源和的数据的规模 Spark Shuffle spark的宽窄依赖 数据倾斜问题（★★★★★） 产生数据倾斜的原因 遇到过的数据倾斜的实际情况 数据倾斜的解决办法 介绍一下hadoop的NameNode NameNode高可用架构 NameNode主节点宕机，之后的选取机制 Zookeeper的选取机制 NameNode中的元数据是否会丢失？（★★★★★） 怎么保证元数据不丢

1.mapreduce的shuffle过程。 2.海量节点的情况下，NameNode如何扩展用多台NameNode保存元数据。 3.多个NameNode，其中一个NameNode挂了，其它NameNode如何上线。 4.海量的（userid,pageid）二元组数据，内存小的情况，用java或者sql计算每个pageid的userid top10的方法？ Java：数据切块并按pageid分区，每

写面经攒人品，同时也是对自己的实习面试的一个记录吧 1.介绍项目，因为是密码学项目，面试官可能不是很了解，但是抠得很细，一直问到他大概明白是做了什么为止 2.智能指针 3.协程 4.Java线程池 5.Redis布隆过滤器 6.数据结构中序遍历 7.有没有在C++中引用过第三方包 8.手撕算法:给一个数字串，相邻两个字符相加为10可以消去，问最终字符串长度 9.介绍了一下所接触过的其他加密算法 面

1小时，全程 LSM tree 深挖 LSM-tree 存储引擎和 Raft 的关系 LSM-tree 原理和特点 为什么要追加写 LSM-tree 的工业实现 LSM-tree 的合并方式（合并超出阈值的部分还是全部？优缺点 Bloom filter 的实现 Bloom filter 如何持久化 缓存的索引怎么做缓存淘汰 缓存的索引一个 SSTable 对应一个 map 和用一个全局 map 的

Kubeflow 是 Google 发布的用于在 Kubernetes 集群中部署和管理 tensorflow 任务的框架。主要功能包括 用于管理 Jupyter 的 JupyterHub 服务 用于管理训练任务的 Tensorflow Training Controller 用于模型服务的 TF Serving 容器 部署 部署之前需要确保 一套部署好的 Kubernetes 集群或者 Mini

Kubernetes 从 v1.8 开始支持原生的Apache Spark应用（需要Spark支持Kubernetes，比如v2.2.0-kubernetes-0.4.0），可以通过 spark-submit 命令直接提交Kubernetes任务。比如计算圆周率 bin/spark-submit --deploy-mode cluster --class org.apache.spark.

Microsoft Excel 的功能真的可以用博大精深来形容。特别是自Excel 2007 在原有的基础上又增加了一些更简单易用的功能。 特别是数据透视表功能，更被认为是Excel 的精华所在。 本文从创建数据透视表到使用数据透视表查看、汇总、分析数据，还包括数据透视表的布局控制，数据透视表的数据源更新与链接等功能都做了详尽的介绍。

大数据通用处理平台 Spark Flink Hadoop Drill 分布式协调 ZooKeeper 分布式存储 HDFS Alluxio(tachyon) Ignite 存储格式 Parquet ORC CarbonData Kudu 数据库 HBase 资源调度 Yarn Mesos Kubernetes 工作流调度 Oozie Azkaban 机器学习工具 Mahout Spark Mlib

一面 英文自我介绍 mr的shuffle zookeeper选举 spark内存管理 hbase中region的拆分 数仓中都有什么表 怎么处理缓慢变化维，拉链表有用过吗 yarn的架构 namenode ha的实现 namenode启动过程中怎么确定哪个是active哪个是standby spark sql用的多吗 手撕 中等leetcoode，合并区间 二面 自我介绍 家哪里的 对博世有什么了