从Redshift读取Spark数据帧返回空数据帧
我正在使用：
- Python 3.6.8
- 火花2.4.4
我在spark类路径中有以下JAR：
- http://repo1.maven.org/maven2/com/databricks/spark-redshift_2.11/2.0.1/spark-redshift_2.11-2.0.1.jar
- http://repo1.maven.org/maven2/com/databricks/spark-avro_2.11/4.0.0/spark-avro_2.11-4.0.0.jar
- https://github.com/ralfstx/minimal-json/releases/download/0.9.5/minimal-json-0.9.5.jar
- https://s3.amazonaws.com/redshift-downloads/drivers/jdbc/1.2.15.1025/redshiftjdbc41-no-awssdk-1.2.15.1025.jar
我执行这段代码：
url = "jdbc:redshift://my.cluster:5439/my_db?user=my_user&password=my_password"
query = "select * from schema.table where trunc(timestamp)='2019-09-10'"
df = sqlContext.read.format('com.databricks.spark.redshift')\
.option("url", url)\
.option("tempdir", "s3a://bucket/tmp_folder")\
.option("query", query)\
.option("aws_iam_role", "arn_iam_role")\
.load()
共有1个答案
我通过将格式更改为'jdbc'，并且只使用databricks驱动程序来写入数据，而不是读取数据，从而使其工作。
-
在scala火花数据帧中是否有的替代方案。我想从火花数据帧的列中选择特定的行。例如，在R等效代码中的第100行
-
使用Spark Dataset/DataFrame联接时，我面临长时间运行且OOM作业失败的问题。 以下是输入： ~10个不同大小的数据集，大部分是巨大的（ 经过一番分析，我发现作业失败和缓慢的原因是歪斜键：当左侧有数百万条记录时，用连接键。 我用了一些蛮力的方法来解决这个问题，这里我想和大家分享一下。 如果您有更好的或任何内置的解决方案（针对常规Apache Spark），请与他人分享。
-
我正在使用数据帧读取。拼花地板文件，但不是将它们转换为rdd来进行我的正常处理，我想对它们进行处理。 所以我有我的文件： 即使从数据帧转换为RDD，我也会收到以下错误： ：26：错误：值zipWithIndex不是组织的成员。阿帕奇。火花sql。一行 任何人都知道如何做我正在尝试做的事情，本质上是尝试获取值和列索引。 我在想这样的事情： 但最后一部分被卡住了，因为不知道如何做zipWithInde
-
我试图从mysql读取数据，并将其写回s3中的parquet文件，具体分区如下： 我的问题是，它只打开一个到mysql的连接（而不是4个），并且在从mysql获取所有数据之前，它不会写入parquert，因为mysql中的表很大（100M行），进程在OutOfMemory上失败。 有没有办法将Spark配置为打开多个到mysql的连接并将部分数据写入镶木地板？
-
null null 为什么要使用UDF/UADF而不是map（假设map保留在数据集表示中）？
-
如何将spark数据框中的所有列名放入Seq变量中。 输入数据 我需要使用scala编程将所有列名存储在变量中。我尝试了如下方法，但不起作用。 预期输出：