SPARK-1.5.1在java代码中使用HiveContext为hive 1.2.0抛出内存不足错误

Question

 SparkConf sparkconf = new SparkConf().set("spark.master", "spark://impetus-i0248u:7077").set("spark.app.name", "sparkhivesqltest")
        .set("spark.cores.max", "2").set("spark.executor.memory", "2g").set("worker_max_heapsize","2g").set("spark.driver.memory", "2g");

 SparkContext sc = new SparkContext(sparkconf);

HiveContext sqlContext = new HiveContext(sc);
DataFrame jdbcDF = sqlContext.sql("select * from bm.rutest");

List<Row> employeeFullNameRows = jdbcDF.collectAsList();

HiveContext正得到正确的初始化，因为它能够建立与hive转移瘤的连接。在jdbcdf.collectaslist（）；处出现异常

spark试图提交作业时出现的错误如下：

提交15/12/10 20:00:42 INFO DagScheduler：从ResultStage 0（在HiveJDBCTest.java:30处的collectAsList处的MapPartitionSrdd[3]）提交2个缺少的任务15/12/10 20:00:42 INFO TaskSchedulerImpl：用2个任务添加任务集0.0 15/12/10 20:00:42 INFO TaskSetManager：在阶段0.0中启动任务0.0（TID 0,172.26.52.54,任意，2181字节）15/12/10 20:00:42 INFO TaskSetManager：在阶段0.0中启动任务1.0（TID 1,172.26.52.54,任意，2181字节）15/12/10 20:00:42 INFO TaskSetManager：在阶段0.0中启动任务1.0（TID 1,172.26.52.54,任意，2181字节）

异常：从线程“sparkdriver-akka.remote.default-remote-dispatcher-5”中的uncaugtExceptionHandler引发的异常：从线程“shuffle-server-1”中的uncaugtExceptionHandler引发的异常：从线程“shuffle-server-1”中的uncaugtExceptionHandler引发的异常：从线程“threaddeathWatcher-2-1”中的异常：从线程“threaddeathWatcher-2-1”中的uncaugtExceptionHandler引发的异常：java.lang.outofMemoryError引发的异常：从线程“threaddeathWatcher-2-1”中的uncaugtExceptionHandler引发的异常

异常：从线程“sparkdriver-akka.remote.default-remote-dispatcher-6”中的uncaugtExceptionHandler引发的java.lang.OutofMemoryError在线程“qtp1003369013-56”中的异常：从线程“qtp1003369013-56”中的uncaugtExceptionHandler引发的java.lang.OutofMemoryError

异常：从线程“sparkdriver-akka.remote.default-remote-dispatcher-21”中的UncaughtExceptionHandler引发java.lang.OutofMemoryError

异常：从线程“sparkdriver-akka.actor.default-dispatcher-17”中的UncaughtExceptionHandler抛出java.lang.OutofMemoryError

异常：从线程“sparkdriver-akka.remote.default-remote-dispatcher-23”中的uncaugtExceptionHandler引发的java.lang.OutofMemoryError异常：从线程“shuffle-server-2”中的uncaugtExceptionHandler引发的java.lang.OutofMemoryError异常

异常：从线程“sparkdriver-akka.actor.default-dispatcher-2”中的UncaughtExceptionHandler引发java.lang.OutofMemoryError

下面是在spark-env.sh中添加的配置

SPARK_EXECUTOR_CORES=2
SPARK_EXECUTOR_MEMORY=3G
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2G
SPARK_EXECUTOR_INSTANCES=2
SPARK_WORKER_INSTANCES=1

如果我将spark.master设置为local[*]，它工作得很好，但是当我将它指向在我的机器上运行的master时，我会出现上面提到的异常。如果我尝试用相同的配置连接到mysql db，它可以正常工作。

Answer 1

以下是对你问题中概念的解释：-

1. local[*]=执行是多线程的，不是分布式的。当作业在单机上测试时，有利于开发。它适用于您的情况，因为数据不会被洗牌或从执行器移动到驱动程序...所有这些都在一个JVM和本地中。
2. CollectasList-此方法将从驱动程序节点上的执行程序收集所有数据，这会导致洗牌，而洗牌是一个内存密集型过程，因为它需要序列化、网络和磁盘IO。
3. javardd().tolocaliterator()=生成与collect（）相同的结果，但顺序地处理每个分区，不涉及洗牌。请注意，我们在RDDs中只使用这种分区顺序，并且分区中项的顺序定义得很好。

因此，考虑到以上情况，当您使用本地框时，local(*)或collectAsList（）很有可能不提供任何OOM，但collect（）可能会产生内存异常。