《数据人的面试交流地》专题

几个月来，我在学习熊猫的过程中，一直在努力想出这个问题的答案。我在日常工作中使用SAS,它的核心支持很棒。然而，SAS作为一个软件是可怕的，还有许多其他原因。 有一天我希望用python和pandas取代我对SAS的使用，但我目前缺少一个用于大型数据集的非核心工作流。我说的不是需要分布式网络的“大数据”，而是大到内存放不下但小到硬盘驱动器放不下的文件。 我的第一个想法是使用在磁盘上保存大型数据集，

我在GCP数据流/Apache Beam中有一个PCollection。我需要将“按N”组合起来，而不是逐个处理它。类似于分组（N）。因此，在有界处理的情况下，它将按10个项目进行分组，最后一批是剩下的任何项目。这在Apache Beam中可能吗？

我试图用Beam sdk Version2.20.0在Python 3.7中构建一个Apache Beam管道，该管道成功地部署在Dataflow上，但似乎没有做任何事情。在工作日志中，我可以看到重复报告的以下错误消息 同步pod xxxxxxxxxxxx（）时出错，跳过：启动容器工作日志失败 我已经尝试了我能尝试的一切，但这个错误是相当顽固的，我的管道看起来像这样。 我尝试使用sdk_locat

你能帮我理解这个摘录，从Kafka流留档： 在可能正在处理多个主题分区的流任务中，如果用户将应用程序配置为不等待所有分区都包含一些缓冲数据，并从具有最小时间戳的分区中选取以处理下一条记录，则稍后在为其他主题分区提取某些记录时，它们的时间戳可能比从另一个主题分区获取的已处理记录小。 我不明白其中的逻辑：如果您选择具有最小时间戳的分区，为什么以后会获得较小的时间戳？

但是当我运行代码时，我会遇到以下异常： 你有什么想法会导致这种情况吗？

我曾经使用过SpringCloudDataFlow、rabbitmq和kafka，但我想知道是否可以使用GooglePub/sub安装scdf。 我不想创建一个流（新的应用程序spring cloud stream），将源或接收器连接到gcp，我希望google pub/sub over spring cloud data flow server用作中间消息代理。 有什么建议吗？

我有两个数据流和。

Serverless 适合用于事件驱动型应用，以及定时任务。今天，让我们来看看一个事件驱动的例子。 在之前的那篇《Serverless 应用开发指南：CRON 定时执行 Lambda 任务》中，我们介绍了如何调度的示例。 最初我想的是通过 Lambda + DynamoDB 来自定义数据格式，后来发现使用 Kinesis Streams 是一种更简单的方案。 Amazon Kinesis Stre

本文向大家介绍数据库基本概念面试必问，包括了数据库基本概念面试必问的使用技巧和注意事项，需要的朋友参考一下 今天小编给大家分享日常收集整理有关数据库基本概念，对大家在今后的工作非常有帮助。 1、超键、候选键、主键、外键 超键：在关系中能唯一标识元组的属性集称为关系模式的超键。一个属性可以为作为一个超键，多个属性组合在一起也可以作为一个超键。超键包含候选键和主键。 候选键：是最小超键，即没有冗余元素

时隔大半年，现在用心写写自己面试不同公司的一些心得体会吧！ 希望能够之后想要面试数分岗的小伙伴一点借鉴价值。 面试网易的是一个和蔼可亲的技术人员。亲切但让我感到紧张，其实是我人生中第二场面试，就是大厂，很多都还没认真准备。。。 一开头就让我简单的做个自我介绍，然后接下来的问题就是：谈谈你对数据分析的认识，以及你做过的项目，可以找一个详细介绍一下嘛？ 记得当时回答的只是数据分析流程：从取数，清洗，建

hive的架构 hive外部表和内部表的区别 内部表的数据由hive管理，且存储在hive.metastore.warehouse.dir配置下的路径中；外部表的数据由HDFS存储，路径可以自己指定； 删除表时，内部表会把元数据及真实数据删除；外部表不删除真实数据。 你用过hive哪些窗口函数 可参考：面试官：你用过哪些窗口函数 一般用什么文件格式 可参考：面试官：“你们实际生产中hive用什么文

面试高频题1： 题目：说一说数据分析流程 答案解析： 第一步： 与业务方沟通问题，明确分析目标； 第二步： 对目标进行拆解，可以采用两步分析法，也可以采用人货场分析法，通过数据定位问题源头； 这里可以通过计算各个维度该指标的变动系数=（指标异常前-指标异常后）/指标异常前，选出变动系数较大的前几个维度，对其进行分析 第三步：与产品、运营和技术沟通，找到问题原因。 面试高频题2： 题目：指标异动的分

面试高频题13： 题目：用户有目的的访问app（例如搜索女装），但是下单量较少怎么分析 答案解析： 漏斗分析。 下单转化漏斗：访问app--商品详情页--购买页面--支付页面--支付成功。 定位是哪个环节出现问题后，与技术人员和产品人员沟通，找到原因。 面试高频题14： 题目：如果近期贝壳二手房成交量下跌，怎么分析 答案解析： 首先，按照省市、价格区间等维度划分，找到是哪个维度下的二手房成交量下跌

面试高频题21： 题目：一家实体零售企业发现本月销售额同比下降30%，如何来分析销售额同比下滑的原因呢？ 答案解析： 业务模型初步分析： 实体零售一般是以全国-大区-小区-单店的管理模型进行运营。 逻辑拆解： ①内外部大环境判断： 外部环境（PEST）： 政策：如国家出台有关政策。 经济：如市场经济环境影响，竞品的影响。 社会：如社会上产生不利于舆论。 科技：如新技术出现并没有促进消费，反而产生不

面试高频题1： 题目：介绍一下k-means,你的数据如何处理，模型的输出是什么？ 答案解析： 介绍kmeans： 第一步：数据归一化、离群点处理后，随机选择k个聚类质心 第二步：所有数据点关联划分到离自己最近的质心，形成k个簇； 第三步：重新计算每个簇的质心； 重复第二步、第三步，直到簇不发生变化或达到最大迭代次数； 数据如何处理： 为了防止均值和方差大的维度将对数据的聚类产生决定性影响，所以在