火花记忆问题
嗨，我对Spark很陌生。我正在Apache Spark scala命令行上执行以下命令
scala> val files=sc.textFile("/home/test/u.item")
14/12/06 09:57:40 INFO MemoryStore: ensureFreeSpace(165239) called with
curMem=0, maxMem=278302556
14/12/06 09:57:40 INFO MemoryStore: Block broadcast_0 stored as values in
memory (estimated size 161.4 KB, free 265.3 MB)
files: org.apache.spark.rdd.RDD[String] = /home/test/u.item MappedRDD[1] at
textFile at :12
共有1个答案
这不是错误消息。log4j将其记录为一条信息消息（请参见下面的信息字符串，在2颗星之间）。如果是错误，它将具有错误级别（警告警告）。当您调用上下文的textFile方法时，您的输出是预期的。如果您只想记录警告和错误，我建议您将log4j.properties中的级别更改为warn。
14/12/06 09:57:40 **INFO** MemoryStore: ensureFreeSpace(165239) called with
curMem=0, maxMem=278302556
14/12/06 09:57:40 **INFO** MemoryStore: Block broadcast_0 stored as values in
memory (estimated size 161.4 KB, free 265.3 MB)
我不是Spark方面的专家，但我想ensureFreeSpace是MemoryStore调用的一个函数，用于为Spark上下文的活动检索内存。
-
我正在尝试 https://github.com/apache/spark/blob/v2.0.1/examples/src/main/scala/org/apache/spark/examples/sql/streaming/StructuredNetworkWordCountWindowed.scala 个例子。 但是，指定端口号处的输入应该是什么？
-
我的 Spark 版本是 2.2.0，它在本地工作，但在具有相同版本的 EMR 上，它给出了以下异常。
-
我们正在尝试在纱线上运行我们的火花集群。我们有一些性能问题，尤其是与独立模式相比。 我们有一个由5个节点组成的集群，每个节点都有16GB的RAM和8个核心。我们已将纱线站点中的最小容器大小配置为3GB，最大为14GB。xml。向纱线集群提交作业时，我们提供的执行器数量=10，执行器内存=14 GB。根据我的理解，我们的工作应该分配4个14GB的容器。但spark UI仅显示3个容器，每个容器的容量
-
我要加入两个rdd。 示例文件1数据: 示例文件2数据： 下面是代码： o/p是k，(v)，我想在做进一步处理时去掉值两边的括号。我尝试了一些事情，包括 我还保存了结果： 不幸的是，结果总是以下格式： 我希望他们：
-
它没有任何错误，我得到以下错误时，我运行火花提交，任何帮助都非常感谢。谢谢你抽出时间。 线程“main”java.lang.noClassDeffounderror：org/apache/spark/streaming/kafka/kafkautils在kafkasparkstreaming.sparkstreamingtest(kafkasparkstreaming.java:40)在kafka
-
我想通过分区迭代一个dataframe，对于每个分区，迭代它的所有行，并创建一个deleteList，它将包含HBase的每一行的delete对象。我将Spark和HBase与Java一起使用，并使用以下代码创建了一个行对象： 但它无法工作，因为我无法正确访问行的值。而df有一个名为“hbase_key”的列。