火花雪花连接器是否仅适用于databricks spark？
使用databricks spark，可以使用spark雪花连接器（spark-snowflake_2.11-2.3.0.jar，snowflake-jdbc-2.8.1.jar）将数据写入snowflake，而不使用jdbc连接。但如果没有databricks，当我尝试在安装spark的本地机器中应用相同的代码时，我无法使用spark snowflake连接器将代码写入snowflake。我面临的错误是ClassNotFoundException for snowflake。DefaultSource。但是可以使用JDBC连接从本地机器（spark安装在本地机器上）写入snowflake。
共有2个答案
将其添加为sbt依赖项的正确语法为：
libraryDependencies=“net.snowflake”%”spark-snowflake_2.11“%”2.9.0-spark_2.4
参考：https://search.maven.org/artifact/net.snowflake/spark-snowflake_2.11/2.9.0-spark_2.4/jar
Spark-Snow flake包不包含在Spark中。您应该在运行Spark-Snow flake时包含它：
$SPARK_HOME/bin/spark-shell --packages net.snowflake:spark-snowflake_2.11:2.4.5
或者像这样将其添加到依赖项中（在sbt中）：
libraryDependencies += "net.snowflake" %% "spark-snowflake" % "2.4.5"
详情请参见此处：https://spark-packages.org/package/snowflakedb/spark-snowflake
-
我正在研究建立一个JDBC Spark连接，以便从r/Python使用。我知道和都是可用的，但它们似乎更适合交互式分析，特别是因为它们为用户保留了集群资源。我在考虑一些更类似于Tableau ODBC Spark connection的东西--一些更轻量级的东西（据我所知），用于支持简单的随机访问。虽然这似乎是可能的，而且有一些文档，但（对我来说）JDBC驱动程序的需求是什么并不清楚。 既然Hiv
-
我使用Spark2和neo4j3（安装在一个节点上），并使用这个spark/Neo4j https://github.com/neo4j-contrib/neo4j-spark-connector 我可以使用我的数据库。 多谢帮忙。
-
我正在使用 3 个服务器集群进行 Kafka 配置，使用 Snowflake 连接器 REST API 将数据推送到 Snowflake 数据库：所有这些都是在 AWS 上运行的 3 个不同的虚拟机 1.在这种情况下，我们是否需要3个kafka单独的服务器zookeeper服务需要在集群中启动和运行，否则只有1个就足够了，就像它需要在所有3个服务器zookerper服务中执行一样，它是否需要不同的
-
我有一些Spark经验，但刚开始使用Cassandra。我正在尝试进行非常简单的阅读，但性能非常差——不知道为什么。这是我正在使用的代码： 所有3个参数都是表上键的一部分： 主键（group\u id，epoch，group\u name，auto\u generated\u uuid\u field），聚类顺序为（epoch ASC，group\u name ASC，auto\u generat
-
我对雪花+JMeter是新手。当我尝试使用以下配置来配置和运行Jmeter时，我收到以下错误。 null 我不确定，我在这里遗漏了什么。请帮帮我。 *来自Jemter结果视图的错误信息**响应消息:java.sql.sqlException：无法创建PoolableConnectionFactory（JDBC驱动程序遇到通信错误。消息：HTTP请求遇到异常：连接到
-
我要加入两个rdd。 示例文件1数据: 示例文件2数据： 下面是代码： o/p是k，(v)，我想在做进一步处理时去掉值两边的括号。我尝试了一些事情，包括 我还保存了结果： 不幸的是，结果总是以下格式： 我希望他们：