在Apache Spark中使用Log4j2
对于Apache Spark日志记录，我尝试用Log4j2替换Log4j（到目前为止没有成功）。到目前为止，我已经设法将Log4j2用于我的应用程序日志，但我还想将它用于Spark内部日志（以避免同时存在两个不同的配置和框架）。
共有1个答案
恐怕您不能使用log4j2，因为spark是用log4j1硬编码的。
我找到的最好的解决方案是只使用log4j1，这样我就可以收集spark日志和我自己的日志。
-
我正在使用ApacheSpark和Scala的MLlib。我需要转换一组向量 在标签点中，为了应用MLLib算法，每个向量由0.0（假）或1.0（真）的双值组成。所有向量都保存在RDD中，因此最终的RDD是 因此，在RDD中，有一些向量是用 我如何从这个RDD（data_tmp）或行矩阵（data）创建一个使用MLLib算法的标签点集？例如，我需要在这里应用SVMs线性alghoritms
-
我正在尝试创建一个spark应用程序，它对创建、读取、写入和更新MySQL数据非常有用。那么，有没有办法使用Spark创建一个MySQL表？ 下面是在MySQL数据库中创建表的Scala JDBC代码。我怎样才能通过Spark做到这一点？
-
我有一个基于maven的scala/java混合应用程序，可以提交spar作业。我的应用程序jar“myapp.jar”在lib文件夹中有一些嵌套的jar。其中之一是“common.jar”。我在清单文件中定义了类路径属性，比如。Spark executor抛出在客户端模式下提交应用程序时出错。类（com/myapp/common/myclass.Class）和jar（common.jar）在那里
-
我正在ApacheSpark上的数据库中构建一个族谱，使用递归搜索来查找数据库中每个人的最终父级（即族谱顶部的人）。 假设搜索id时返回的第一个人是正确的家长 它给出以下错误 “原因：org.apache.spark.SparkException:RDD转换和操作只能由驱动程序调用，不能在其他转换中调用；例如，
-
我试图在火花笔记本的阿帕奇火花中做NLP。对于这个特定的例子，我正在使用库https://opennlp.apache.org创建一个块来提取名词短语。由于数据量的增加，我需要转向分布式计算。 问题是我无法广播我的chunker对象。通过阅读文档（只在board上投射数组等简单对象），我尝试了以下方法： 但这会引发以下错误： 如果我将chunker的初始化封装在函数中，然后在map方法中调用函数，
-
我正在用Kafka设计一个spark流媒体应用程序。我有以下几个问题：我正在将数据从RDBMS表流式传输到kafka，并使用Spark consumer来使用消息，并使用Spark-SQL进行处理 问题：1。我将数据从表中流式传输到kafka as（键作为表名，值作为JSON记录形式的表数据）——这是正确的体系结构吗？ 这种数据库流的架构和设计是否正常，我如何解决转换问题中的转换？ 你好Piyus
-
我正在构建一个Spark应用程序，我必须在其中缓存大约15GB的CSV文件。我在这里读到了Spark 1.6中引入的新： https://0x0fff.com/spark-memory-management/ 作者在和之间有所不同（火花内存又分为）。正如我所了解的，Spark内存对于执行（洗牌、排序等）和存储（缓存）东西是灵活的——如果一个需要更多内存，它可以从另一个部分使用它（如果尚未完全使用）
-
给定一个包含以下格式数据的大文件（V1，V2，…，VN） 我正在尝试使用Spark获得一个类似于下面的配对列表 我尝试了针对一个较旧的问题所提到的建议，但我遇到了一些问题。例如， 我得到了错误， 有人能告诉我哪些地方我可能做得不对，或者有什么更好的方法可以达到同样的效果？非常感谢。