《雪花算法》专题
-
触发一次的火花流追加输出模式
null 触发器是否支持一次追加模式？ 这里有一个最小的应用程序来再现这个问题。要旨
-
Preg匹配花括号外的所有逗号[重复]
我有一个字符串： 我想匹配花括号外的所有逗号。 我想要的输出是： 我尝试了： 但输出不同： 谢谢你。
-
使用时间路径的火花写入操作HDFS
我正在尝试从这个Scala代码写入csv文件。我使用HDFS作为临时目录，然后writer.write在现有子文件夹中创建一个新文件。我收到以下错误消息： java.io./tfsdl-ghd-wb/raidnd/Incte_19 如果我选择新建文件或退出文件，也会发生同样的情况，我已经检查了路径是否正确，只想在其中创建一个新文件。 问题是，为了使用基于文件系统的源写入数据，您需要一个临时目录，这
-
基于csv重命名火花数据帧的列名
我有麻烦重命名基于csv的数据帧的标头。 我得到了以下数据帧：df1： 现在我想根据csv文件更改列名（第一行），如下所示： 因此，我期望数据帧如下所示： 有什么想法吗？感谢您的帮助：）
-
RDD火花。违约Spark数据帧的并行等效
Narrow转换（映射、过滤器等）的SparkSQL数据帧是否有“spark.default.parallelism”等价物？ 显然，RDD和DataFrame之间的分区控制是不同的。数据帧具有spark。sql。洗牌用于控制分区的分区（如果我理解正确的话，则为宽转换）和“spark.default.parallelism”将没有效果。 Spark数据帧洗牌如何影响分区 但洗牌与分区有什么关系呢？
-
Epoch的步骤在GPU上花费了太长时间
我正在尝试训练一个模型，在我看来，与其他数据集相比，该模型花费的时间太长，因为完成一个历元需要大约1小时和20分钟。我认为问题是因为数据集没有存储在ram上，但我不确定这一点。 代码如下： 型号： 顺序模型 2个卷积层，32个神经元，激活=relu 1个卷积层，64个神经元，激活=relu 平整和致密层，激活=relu 退出0.5 具有sigmoid激活的输出层（致密） Adam optimize
-
从Kafka读取时如何异步制作火花流
我有一个Kafka分区，和一个parkStreaming应用程序。一个服务器有10个内核。当火花流从Kafka收到一条消息时，后续过程将需要5秒钟（这是我的代码）。所以我发现火花流读取Kafka消息很慢，我猜当火花读出一条消息时，它会等到消息被处理，所以读取和处理是同步的。我想知道我可以异步读取火花吗？这样从Kafka读取的数据就不会被后续处理拖动。然后火花会很快消耗来自Kafka的数据。然后我可
-
ES6中带或不带花括号的导入[重复]
以下两者之间的区别是什么： 和 ? 我认为它与导出默认标题有某种联系 和
-
从Pyspark中的多个目录读取拼花文件
我需要从不是父目录或子目录的多个路径读取拼花地板文件。 例如， 从dir1\u 1和dir1\u 2读取拼花文件 现在，我正在读取每个目录并使用“unionAll”合并数据帧。有没有一种方法可以不使用unionAll从dir1\u 2和dir2\u 1读取拼花地板文件，或者有没有什么奇特的方法可以使用unionAll 谢谢
-
向Cassandra写入大火花数据帧-性能调整
我在Spark 2.1.0/Cassandra 3.10集群（4台机器*12个内核*256个RAM*2个SSD）上工作，很长一段时间以来，我一直在努力使用Spark Cassandra connector 2.0.1向Cassandra写入特定的大数据帧。 这是我的表的模式 用作主键的散列是256位；列表字段包含多达1MB的某种结构化类型的数据。总共，我需要写几亿行。 目前，我正在使用以下写入方法
-
如何在火花日志中隐藏密钥密码？
在运行spark作业时，可以在事件日志中以纯文本形式看到SSL密钥密码、keystorepassword。你能帮我如何从日志中隐藏这些密码吗？ 当我看到下面的内容时，https://issues.apache.org/jira/browse/spark-16796似乎是他们修复了它，使其不受web UI的影响。但我不确定我能用原木修复它 你的帮助真的很感激！！ “{”事件“：”SparkListe
-
Spark在Hadooprdd上花了很长时间：输入分裂
18/02/07 04:44:51 INFO TaskSetManager：在1025毫秒内完成localhost（executor driver）上阶段1.0（TID 7）中的任务6.0（7/307） 为什么Spark要做这么多'hadooprdd:Input拆分‘？这样做的目的是什么？我如何加快或摆脱这个过程？ 代码如下：
-
执行器核心数和利益或其他-火花
需要进行一些运行时澄清。 在我读到的其他地方的一个线程中，有人说Spark Executor应该只分配一个核心。然而，我想知道这是否真的永远是真的。阅读各种so问题和诸如此类的问题，以及Karau、Wendell等人的著作，可以清楚地看到，有相同或相反的专家指出，在某些情况下，每个执行者应该指定更多的内核，但讨论往往更多的是技术性的，而不是功能性的。也就是说，缺少功能性的例子。 > 我的理解是RD
-
熊猫用append将数据帧写入拼花格式
我正试图在模式下将写入文件格式（在最新的pandas版本0.21.0中引入）。但是，文件将被新数据覆盖，而不是附加到现有文件。我错过了什么？ 写入语法是 读取语法是
-
如何去除花括号并保留JSON的键值
因此，我想删除所有内部卷曲括号，同时重命名值，如 {“意向”：“P&P_购买”，“Value1”：日期：12月30日，产品：印楝尿素OMIFCO(45公斤），数量：18公吨，INV_NO:NRKT07003160；“Value2”：日期：12月19日，产品：印楝尿素OMIFCO(45公斤），数量：18公吨，INV_NO:NRKT07003160；“Value3”：日期：1月19日，产品：印楝尿素O