将PySpark连接到AWS红移时出错

Question

我一直在尝试将我的EMR5.11.0集群上的Spark 2.2.1连接到我们的Redshift商店。

我遵循的方法是-

pyspark --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC41.jar

from pyspark.sql import SQLContext
sc
sql_context = SQLContext(sc)

redshift_url = "jdbc:redshift://HOST:PORT/DATABASE?user=USER&password=PASSWORD"

redshift_query  = "select * from table;"

redshift_query_tempdir_storage = "s3://personal_warehouse/wip_dumps/"        

# Read data from a query
df_users = sql_context.read \
    .format("com.databricks.spark.redshift") \
    .option("url", redshift_url) \
    .option("query", redshift_query) \
    .option("tempdir", redshift_query_tempdir_storage) \
    .option("forward_spark_s3_credentials", "true") \
    .load()

谢了！

Answer 1

我必须在EMR spark-submit选项中包含4个jar文件才能使其工作。

jar文件列表：

1.RedShiftJDBC41-1.2.12.1017.jar

--jars s3://<pathToJarFile>/RedshiftJDBC41-1.2.10.1009.jar,s3://<pathToJarFile>/minimal-json-0.9.4.jar,s3://<pathToJarFile>/spark-avro_2.11-3.0.0.jar,s3://<pathToJarFile>/spark-redshift_2.10-2.0.0.jar

最后查询红移，如本例所示：spark代码中的spark-redshift-example。