AWS SNS SDK不适用于spark流媒体

Question

我通过spark streaming应用了一个实时异常检测系统。在每个流媒体时间间隔内，如果数据点异常，AWS SNS会发送电子邮件订阅帐户。但是AWS SNS java sdk不喜欢在spark流媒体中工作。下面是错误消息

ERROR StreamingContext:启动上下文时出错，将其标记为停止的java。伊奥。NotSerializableException:已启用数据流检查点，但数据流及其html" target="_blank">函数不可序列化。亚马逊。服务。sns。AmazonSClient序列化堆栈：-对象不可序列化（类：com.amazonaws.services.sns.amazonsClient，值：com.amazonaws.services.sns）。AmazonSNSClient@a99e813)-field（类：wordCount$$anonfun$main$2，名称：snsClient$1，类型：class com.amazonaws.services.sns.amazonsclient）-object（类：wordCount$$anonfun$main$2，）-field（类：org.apache.spark.stream.dstream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3，名称：cleanedF$1，类型：interface scala.Function1）-object（类org.apache.spark.streaming.dstream.dstream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3，）-writeObject数据（类：org.apache.spark.stream.dstream.dstream）-object（类org.apache.spark.streaming.dstream.ForEachDStream，org.apache.spark.stream.dstream.dstream）。ForEachDStream@5b56679b)-writeObject数据（类：org.apache.spark.streaming.dstream.dstream checkpointdata）-对象（类org.apache.spark.stream.dstream.dstream checkpointdata，[0个检查点文件

有人有什么想法可以解决它吗...或者有其他解决方案可以在火花流中发送电子邮件

谢谢

Answer 1

错误是Amazon SNSClient实例不可序列化。这可能意味着您已在转换之外实例化它并在转换中使用它。这将导致火花序列化它。

使用非流式spark，您可以尝试在RDD上的mapPartitions函数中实例化AmazonSClient，或者使用spark流式的等效函数。快速浏览流媒体文档有一个部分可能对您有用，它似乎涵盖了高效创建与数据库、外部系统等的连接的类似领域。

主要的一点是，您需要在worker而不是驱动程序上实例化客户机，然后将其发送给worker（这要求实例可序列化）。