无法使用spark sql读取kafka

Question

我正在尝试使用spark阅读Kafka，但我想我会遇到一些图书馆相关的问题。

            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.4.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.4.3</version>
            <scope>provided</scope>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql-kafka-0-10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
            <version>2.4.3</version>
            <scope>provided</scope>
        </dependency>

SparkSession spark = SparkSession.builder()
                .appName("kafka-tutorials")
                .master("local[*]")
                .getOrCreate();

        Dataset<Row> rows = spark.readStream().
                format("kafka").option("kafka.bootstrap.servers", "localhost:9092")
                .option("subscribe", "meetup-trending-topics")
                .option("startingOffsets", "latest")
                .load();

        rows.writeStream()
                .outputMode("append")
                .format("console")
                .start();

        spark.streams().awaitAnyTermination();
        spark.stop();

线程“main”org.apache.spark.sql.AnalysisException中出现异常：找不到数据源：Kafka。请按照“结构化流媒体+Kafka集成指南”的部署部分部署应用程序。；在org.apache.spark.sql.execution.datasources.datasource$.lookupdatasource（datasource.scala:652)在org.apache.spark.sql.streaming.datastreamreader.load（datasreamreader.scala:161)

解决方案：-两者之一：1）创建uber jar或ii）-packages org.apache.spark:spark-sql-kafka-0-102.11:2.4.3我在mainclass之后提供了-packagesorg.apache.spark:spark-sql-kafka-0-102.11:2.4.3选项。

Answer 1

这个：

<scope>provided</scope>

意味着您负责提供适当的JAR。我（和许多其他人）更喜欢避免使用这个作用域，而是构建一个uberjar来部署。