Spark：检查集群UI以确保工人已注册

Question

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("spark://10.250.7.117:7077").setAppName("Simple Application").set("spark.cores.max","2")
    val sc = new SparkContext(conf)    
    val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")

    //first get the first 10 records 
    println("Getting the first 10 records: ")
    ratingsFile.take(10)    

    //get the number of records in the movie ratings file
    println("The number of records in the movie list are : ")
    ratingsFile.count() 
  }
}

val ratingsFile = sc.textFile("hdfs://hostname:8020/user/hdfs/mydata/movieLens/ds_small/ratings.csv")
println("Getting the first 10 records: ")
ratingsFile.take(10)    
println("The number of records in the movie list are : ")
ratingsFile.count() 

警告TaskSchedulerImpl：初始作业未接受任何资源；检查集群UI以确保工作人员已注册并具有足够的资源

另外，在Spark UI中，我看到了以下内容：

作业持续运行-火花

编辑：

我检查了HistoryServer，这些作业没有显示在那里（即使在不完整的应用程序中）

Answer 1

我已经为许多spark集群进行了配置和性能调优，当您第一次准备/配置集群以处理您的工作负载时，这是一个非常常见/正常的消息。

这显然是由于启动作业的资源不足。作业正在请求下列操作之一：

• 每个工作者的内存大于分配给它的内存(1GB)
• 群集上的CPU比可用的多