当前位置: 首页 > 知识库问答 >
问题:

Spark会话未初始化| sparkR.session()给出错误“Error in if (len > 0) {:参数长度为零”

尚嘉勋
2023-03-14

我目前正在使用托管在databricks集群之外的Rstudio服务器,并按照步骤配置databricks Connect。连接测试也很成功。但是当我使用下面的代码初始化spark会话时,它会抛出一个错误。

>>library(SparkR)
>>sparkR.session()

我什至尝试了下面的命令,但抛出了同样的错误:

SparkR::sparkR.session()

警告NativeCodeLoader:无法为您的平台加载本机hadoop库...使用Spark的缺省log4j概要文件:org/Apache/Spark/log4j-defaults . properties将缺省日志级别设置为“WARN”。若要调整日志记录级别,请使用sc.setLogLevel(newLevel)。对于SparkR,使用setLogLevel(newLevel)。if中的错误(长度

我想访问数据砖上的SQL表或用R编写sql查询,如下所示:

diamonds <- sql("select * from default.diamonds")

需要初始化火花会话。如果可以应用任何其他替代方案,请告诉我。

共有1个答案

史劲
2023-03-14

我也有类似的问题。我对我的代码进行了以下更改。

library(SparkR, lib.loc = "/usr/local/spark/R/lib")
sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')
# initializing Spark context
sc <- sparkR.init(sparkHome = "/usr/local/spark",
                  sparkEnvir = sparkEnvir)
# initializing SQL context
sqlContext <- sparkRSQL.init(sc)
 类似资料:
  • 在本教程之后,我将尝试实现Spring会话Spring HttpSession教程 但是当我启动应用程序时,我遇到了一个初始化错误。 异常在线程"main"org.springframework.beans.factory.不满意依赖异常:错误创建bean与名称'springSessionRepositoryFilter'定义在类org.springframework.session.data.r

  • 问题内容: 我希望能够“快速”构建一个numpy数组,但我不知道该数组的大小。 例如,我想做这样的事情: 这将导致包含x的所有元素,这显然是一个简单的答案。我很好奇这是否可能? 问题答案: 构建一个Python列表并将其转换为Numpy数组。每个附加项需要O(1)的摊销时间+ O( n )才能转换为数组,总共需要O( n )。

  • 问题内容: 该方法的Java文档 在返回说明中包括以下内容: 如果目录为空或过滤器未接受任何名称,则该数组为空。 我如何做类似的事情,并将String数组(或与此相关的任何其他数组)初始化为长度为0? 问题答案: 正如其他人所说, 确实会创建一个空数组。但是,关于数组有一件好事-数组的大小无法更改,因此您始终可以使用相同的空数组引用。因此,在您的代码中,您可以使用: 然后每次需要时就返回-无需每次

  • 我正试图在谷歌地图Android API v2中获得一个带有自定义图标的标记。我刚刚更改了Google提供的一个示例。我添加了到方法中的RawMapViewDemoActivity 但我总是得到一个“IBitmapDescriptorFactory未初始化”。 在BitmapDescriptorFactory中,它说: 在使用此类中的任何方法之前,您必须执行以下操作之一以确保初始化此类: > 等待

  • 我试图在循环中初始化数组C,但它给出了错误: C是类ipdata的数组,我已经声明了它,并试图在循环中初始化它。 有什么问题吗?它表示:无法访问cluster_anlysis类型的封闭实例。必须使用cluster_anlysis类型的封闭实例限定分配(例如,x.new A(),其中x是cluster_anlysis的实例)。

  • 我尝试将元素映射到[]以获得角度。但如果我检查了对象的长度,则始终为0。。 屏幕如果I控制台.log(对象) 我做错了什么?