pyspark将dynamodb表复制到配置单元的代码问题：不允许操作

Question

我试图使用pyspark代码在aws emr上从Dynamodb创建一个外部hive表。当我在hive提示符上执行查询时，查询工作正常，但当我将其作为pyspark作业执行时失败。代码如下：

from pyspark import SparkContext
from pyspark.sql import SparkSession
import os

spark = SparkSession.builder.enableHiveSupport().getOrCreate()
spark.sql('use ash_data')

spark.sql(
    """
    CREATE EXTERNAL TABLE dummyTable
        (item MAP<STRING, STRING>)
    STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
    TBLPROPERTIES ("dynamodb.table.name" = "testdynamodb")
    """
)

它一直给我以下错误：

pyspark.sql.utils.ParseException: u'\nOperation not allowed: STORED BY(line 4, pos 4)\n\n== SQL ==\n\n    CREATE EXTERNAL TABLE dummyTable\n        (item MAP<STRING, STRING>)\n    STORED BY \'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler\'\n----^^^\n    TBLPROPERTIES ("dynamodb.table.name" = "testdynamodb")\n    \n'

我们需要设置任何权限或角色来使其工作吗？有人找到了解决此错误的方法吗？

谢谢

Answer 1

Spark SQL似乎不支持这一点：

https://issues.apache.org/jira/browse/SPARK-19661

你必须：

• 运行命令，使用hive

有关更多详细信息，请参见对类似问题的回答：

如何将PySpark数据帧写入DynamoDB表？