在Azure databricks上的远程群集设置中运行spark scala脚本
我已经用intelliJ编写了一个spark scala（sbt）应用程序，我想在Azure databricks上托管的远程集群上运行它。为了避免手动将JAR上传到dbfs中，需要遵循哪些步骤来测试代码
共有1个答案
Databricks Connect允许您将最喜欢的IDE（Eclipse、IntelliJ、PyCharm、RStudio、Visual Studio代码）、笔记本服务器（Jupyter notebook、Zeppelin）和其他自定义应用程序连接到Databricks群集。
按照本官方文档中给出的步骤，使用Databricks集群配置IntelliJ。
-
问题内容： 我尝试在Google Container Engine的群集节点上安装ElasticSearch（最新版本），但是ElasticSearch需要变量：>> 262144。 如果我ssh到每个节点并手动运行： 一切正常，但是任何新节点将没有指定的配置。 所以我的问题是： 有没有办法在引导时在每个节点上加载系统配置？Deamon Set并不是一个好的解决方案，因为在Docker容器中，系统
-
我试图设置一个火花3光泽使用两个系统运行Windows10。我可以开始用master ，它在启动主程序
-
问题内容： 我正在调试一些必须在我的虚拟机上运行的python脚本。而且，我更喜欢在本地（虚拟机外部）编辑脚本。因此，我发现每次都将脚本修改为虚拟机 很繁琐。谁能提出一些有效的方法？ 特别是，我想知道是否可以在远程PVM上执行python脚本。像这样： 问题答案： 可以使用ssh。Python接受连字符（-）作为执行标准输入的参数， 运行 python –help 以获得更多信息。
-
尝试运行基于Java的（编译的）迁移文件，这些文件不在配置Flyway的项目中。谁能告诉我这样做是可能的吗？ 我创建了一个使用飞行方式进行迁移的罐子。Jar 需要一个参数，即迁移脚本的位置。迁移脚本位于不同的位置/项目中。到目前为止，所有脚本都是基于 SQL 的。（即）。需要添加一个基于java的迁移脚本，做一些复杂的逻辑。 试图添加pom。xml到脚本位置，以及db/migration文件夹中的
-
我有一个部署在远程Kubernetes集群上的Flink SessionCluster（根据文档），可在
-
我是一名spark/纱线新手，在提交纱线集群上的spark作业时遇到exitCode=13。当spark作业在本地模式下运行时，一切正常。 我使用的命令是： Spark错误日志：