《烽火星空》专题

由于，我检查了一个spark作业的输出拼花文件，该作业总是会发出声音。我在Cloudera 5.13.1上使用了 我注意到拼花地板排的大小是不均匀的。第一排和最后一排的人很多。剩下的真的很小。。。 拼花地板工具的缩短输出，： 这是已知的臭虫吗？如何在Spark中设置拼花地板块大小（行组大小）？ 编辑： Spark应用程序的作用是：它读取一个大的AVRO文件，然后通过两个分区键（使用

我有一个数据集，如下所示： 但不管用。

我有一些Spark经验，但刚开始使用Cassandra。我正在尝试进行非常简单的阅读，但性能非常差——不知道为什么。这是我正在使用的代码： 所有3个参数都是表上键的一部分： 主键（group\u id，epoch，group\u name，auto\u generated\u uuid\u field），聚类顺序为（epoch ASC，group\u name ASC，auto\u generat

我在火花流应用程序中从kafka读取数据并执行两个操作 将dstream插入hbase表A 更新另一个hbase表B 我想确保对于dstream中的每个rdd，插入hbase表A将在对hbase表B进行更新操作之前发生（每个rdd依次发生上述两个动作） 如何在火花流应用中实现这一点

我正在尝试编写一个WiX脚本，它使用WiX的防火墙扩展，但它似乎找不到扩展dll（我认为）。 我看到的错误是这样的： File元素包含一个未处理的扩展元素“fire： Firewall Exception”。 请确保已提供“http://schemas.microsoft.com /wix/FirewallExtension”命名空间中元素的扩展名。 我的WiX源的相关部分是： 如果我尝试注册Wi

如何使用Spark-Scala连接日期和时间列（两个字符串）

数据-我使用XML中的许多附加列获取此类数据，并使用com。databricks spark-xml\u 2.11库，用于将xml数据转换为数据帧。 要求-必须从数组（struct）类型或列custom\u属性转换数据。示例中的custom\u属性，如示例输出所示。My struct有三个字段，分别命名为“\u VALUE”、“属性\u id”、“值”。我需要将属性id转换为列名称，数据为-检查“

我有一对看起来像 第二个元素是一个字符串，我从函数get（）从http://alvinalexander.com/scala/how-to-write-scala-http-get-request-client-source-fromurl.这里是函数： 现在我想把这个字符串转换成json，从中获取图片url。（来自此）https://stackoverflow.com/a/38271732/14

我有一个avro格式的数据流（json编码），需要存储为镶木地板文件。我只能这样做， 把df写成拼花地板。 这里的模式是从json中推断出来的。但是我已经有了avsc文件，我不希望spark从json中推断出模式。 以上述方式，parquet文件将模式信息存储为StructType，而不是avro.record.type。是否也有存储avro模式信息的方法。 火花 - 1.4.1

我有5个表存储为CSV文件(A.CSV、B.CSV、C.CSV、D.CSV、E.CSV)。每个文件按日期分区。如果文件夹结构如下：

我们需要在Kafka主题上实现连接，同时考虑延迟数据或“不在连接中”，这意味着流中延迟或不在连接中的数据不会被丢弃/丢失，但会被标记为超时， 连接的结果被产生以输出Kafka主题（如果发生超时字段）。 （独立部署中的火花2.1.1，Kafka 10） Kafka在主题：X，Y,...输出主题结果将如下所示： 我发现三个解决方案写在这里，1和2从火花流官方留档，但与我们不相关（数据不在加入Dtsre

我有以下应用程序（我对这个框架很陌生），我想看到缓存大小（增加），因为它从队列中读取消息，但它一直保持为0。 有人能告诉我缺失了什么/错了什么吗？ 谢谢！

是否有可能在火花中将多个列爆炸成一个新列？我有一个如下所示的数据框： 期望输出： 到目前为止，我尝试过： 这不起作用。非常感谢您的任何建议。

我目前正在使用上面的UDF将一列字符串解析成一个键和值的数组。“50:63.25，100:58.38”到[[50，63.2]，[100，58.38]]。在某些情况下，字符串是“\N”，我无法解析列值。如果字符串是“\N”，那么我应该返回一个空数组。有人能帮我处理这个异常或帮我添加一个新的案例吗？我是spark-scala的新手。 错误：scala.MatchError：[Ljava.lang.St