Spark和AWS Kinesis
我试图在独立模式下用Apache Spark 2.4.0连接到Kinesis。我将使用以下方法提供我的凭据：
val cred = SparkAWSCredentials.builder.basicCredentials("{awsAccessKeyId}", "{awsSecretAccessKey}").build()
得到这样的错误：
sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "{}")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","{}")
有人能帮忙吗？
共有1个答案
我得到了同样的错误，在我的例子中，我使用的是spark-streaming-kinesis-asl2.12而不是spark-streaming-kinesis-asl2.11。
-
我有一个以XML形式出现的数据集，其中一个节点包含JSON。Spark将其作为StringType读入，因此我尝试使用from_json（）将json转换为数据帧。 我可以将字符串转换为JSON，但如何编写模式来处理数组？ 没有数组的字符串-工作得很好 带数组的字符串 - 无法弄清楚这个
-
我想我问这个问题，因此使用问题主题是因为我仍然不知道如何正确阅读API，或者我只是错过了一些甚至是基本的火花概念？！
-
假设数组如下所示： 数组中最多可以有100.000个值。 另一方面，如果我这样做： 我得到serialization异常，因为spark正在尝试序列化spark上下文，而spark上下文是不可序列化的。 如何使这个工作，但仍然利用并行性。 这是我得到的咒语：
-
我正在读这篇博文： http://blog.jaceklaskowski.pl/2015/07/20/real-time-data-processing-using-apache-kafka-and-spark-streaming.html 它讨论了如何使用Spark Streaming和Apache Kafka进行一些近实时处理。我完全理解这篇文章。它确实展示了我如何使用Spark Stream
-
我用pySpark写的 我想用spark让它在scala语言中工作，我做了这件事，我得到了我的错误，我没有发现错误，因为对scala来说是新的
-
我们一直在使用Spark RDD API（Spark 2.0）来处理在Cassandra.Note中建模的数据，这些数据在Cassandra中建模以实现高效的读写。 然而，现在还有SparkSQLAPI，Spark DataFrame API，它也是一种替代的数据访问方法-http://spark.apache.org/docs/latest/sql-programming-guide.html