《烽火》专题

我对spark有疑问：HDFS块vs集群核心vs rdd分区。 假设我正在尝试在HDFS中处理一个文件（例如块大小为64MB，文件为6400MB）。所以理想情况下它确实有100个分裂。 我的集群总共有 200 个核心，我提交了包含 25 个执行程序的作业，每个执行程序有 4 个核心（意味着可以运行 100 个并行任务）。 简而言之，我在rdd中默认有100个分区，100个内核将运行。 这是一个好方

我通过指定分区的数量从文本文件创建RDD（Spark 1.6）。但它给我的分区数与指定的分区数不同。 案例1 案例2 案例3 案例4 文件/home/pvikash/data/test的内容。txt是： 这是一个测试文件。将用于rdd分区 基于以上案例，我有几个问题。 对于案例2，显式指定的分区数为0，但实际分区数为1（即使默认最小分区为2），为什么实际分区数为1？ 对于案例3，为什么在指定数量的

我正在使用Cloudera VM，一个linux终端和火花版本1.6.0 假设我有以下数据集： 优先级、数量、销售额= 最低价，6，261.54 高，44,1012 低，1，240 高，252500 我可以加载，" val input file = sc . textfile(" file:///home/cloud era/stat . txt ") 我可以排序，"inputFile.sort（

我在火花变换函数中有一个简单的问题。 coalesce（numPartitions） - 将 RDD 中的分区数减少到 numPartitions。可用于在筛选大型数据集后更有效地运行操作。 我的问题是 > < Li > < p > coalesce(num partitions)真的会从filterRDD中删除空分区吗？ coalesce(numPartitions)是否经历了洗牌？

当我尝试将数据帧写入Hive Parket分区表时 它将在HDFS中创建大量块，每个块只有少量数据。 我了解它是如何进行的，因为每个 spark 子任务将创建一个块，然后将数据写入其中。 我也理解，块数会提高Hadoop的性能，但达到阈值后也会降低性能。 如果我想自动设置数字分区，有人有一个好主意吗？

业务案例是，我们希望通过一个列作为分区，将一个大的拼花文件分割成多个小文件。我们已经使用data frame . partition(“XXX”)进行了测试。写(...).用了大约1个小时，记录了10万个条目。因此，我们将使用map reduce在不同的文件夹中生成不同的拼花文件。示例代码: 上面的例子只是生成一个文本文件，如何用multipleoutputformat生成一个parquet文件？

我是Spark的新手。我尝试在本地模式(windows)下使用spark java将csv文件保存为parquet。我得到了这个错误。 原因：org.apache.spark.Spark异常：写入行时任务失败 我引用了其他线程并禁用了spark推测 set("spark.speculation "，" false ") 我还是会出错。我在csv中只使用了两个专栏进行测试。 输入： 我的代码: 请帮

我们开始在团队中尝试spark。在我们减少spark中的工作后，我们希望将结果写入S3，但是我们希望避免收集Spark结果。目前，我们正在为RDD的每个分区写文件，但是这会产生很多小文件。我们希望能够将数据聚合到几个文件中，这些文件按照写入文件的对象数量进行分区。例如，我们的总数据是100万个对象(这是不变的)，我们希望生成40万个对象文件，而我们当前的分区生成大约2万个对象文件(这因每个作业而异

我提出了一个关于Spark的非常愚蠢的问题，因为我想澄清我的困惑。我对Spark非常陌生，仍在努力理解它在内部是如何工作的。 比方说，如果我有一个输入文件列表（假设1000），我想在某个地方处理或写入，并且我想使用coalesce将我的分区数减少到100。 现在我用12个执行器运行这个作业，每个执行器有5个内核，这意味着它运行时有60个任务。这是否意味着，每个任务将在一个单独的分区上独立工作？ 回

场景： Kafka- 每个火花流微批次中的逻辑(30秒):< br >读取Json- 我的流媒体工作是阅读大约1000个Kafka主题，大约有10K个Kafkapartitions，吞吐量大约为500万事件/秒。 问题来自 Kafka 分区之间的流量负载不均匀，一些分区的吞吐量大约是较小分区的 50 倍，这会导致 RDD 分区倾斜（因为 KafkaUtils 创建了从 Kafka 分区到 Spar

我在任何地方都找不到如何在RDD内部执行重新分区？我知道您可以在RDD上调用重新分区方法来增加分区数量，但它是如何在内部执行的呢？ 假设，最初有5个分区，他们有- 第一个分区 - 100 个元素 第二个分区 - 200 个元素 第 3 个分区 - 500 个元素 第 4 个分区 - 5000 个元素 第 5 分区 - 200 个元素 一些分区是倾斜的，因为它们是从HBase加载的，并且数据没有正确

我正在使用的，并将其调用为 。 的方差非常高，以至于大约1%的对集（用百分位数方法验证）使得集合中的值总数的20%。如果Spark随机使用shuffle进行分区，那么很有可能会有1%的数据落入同一分区，从而导致工作人员之间的负载不平衡。 有没有办法确保“重”元组在分区中正常分布？我实际上将分成两个分区，和，基于） 给出的 阈值，以便分离这组元组，然后重新分区。 但获得几乎相同的运行时间。负载可能已

如果有人能用简单的术语回答这些与火花洗牌相关的问题，我将不胜感激。 在spark中，当加载一个数据集时，我们指定分区的数量，这表示输入数据（RDD）应该被划分为多少个块，并且根据分区的数量启动相等数量的任务（如果假设错误，请纠正我）。对于工作节点中的X个核心数。一次运行相应的X个任务。 沿着类似的思路，这里有几个问题。 因为，所有byKey操作以及联合、重新分区、连接和共组都会导致数据混乱。 >

我在cassandra中有一个表，其中日期不是分区键的一部分，但它是聚类键的一部分。在读取火花中的表时，我正在应用日期过滤器，它正在向下推送。我想了解下推是如何工作的，因为通过cql，我们不能直接查询集群键。数据是否在某处被过滤？ Java实施： 物理平面图显示为 类型，那么即使date是分区键的一部分，也不会推送过滤器。我不得不把它写成< code>transactions.filter("da

假设我有一个scala类的五个对象，我需要用五个对象构建一个spark RDD，并将该RDD推到cassandra表中，我的cassandr表“person”有三个字段（pId、pName、pAge）和 我如何形成这三个对象的rdd？下面的行可能吗？ 如果可以制作RDD..如何将该RDD推送到Cassandra表以在该表“person”中插入三行