带kafka 0.11的Spark流1.6

Question

我已经将kafka代理从0.8升级到0.11，现在我正在尝试升级火花流作业代码以与新的kafka兼容-我正在使用火花1.6.2-。

我搜索了很多步骤来执行此升级，我没有找到任何官方或非官方的文章。

我发现唯一有用的文章是这篇，但是它提到了spark 2.2和kafka 0.10，但是我得到一行文字说

但是，由于较新的集成使用新的 Kafka 使用者 API 而不是简单的 API，因此在用法上存在显著差异。此版本的集成被标记为实验性，因此 API 可能会发生变化

有没有人尝试过把spark streaming 1.6和kafka 0.11集成，或者是把spark first升级到2更好？因为缺乏关于spark-streaming和kafka混合版本的信息和支持？

Answer 1

经过大量调查，发现没有办法做到这一步，因为火花流只支持高达0.10的kafka版本（这与kafka 0.11，1.0.X有重大区别）。

这就是为什么我决定从火花流转向使用新的kafka流api，简单地说，它很棒，使用简单，非常灵活，最大的优势是：IT是一个库，您可以简单地将其添加到您的项目中，而不是包装代码的框架。

Kafka-streaming api几乎支持spark提供的所有功能(聚合、开窗、过滤、MR)。