使用Kafka喷口的Kafka Storm集成

Question

我用的是Kafka。请在下面找到测试程序。

我正在使用Storm 0.8.1。在Storm 0.8.2中存在多方案类。我会用那个。我只想知道早期版本是如何通过实例化String计划（）类来工作的？我在哪里可以下载早期版本的Kafka喷口？但是我怀疑这是一个正确的选择，而不是在Storm 0.8.2上工作。？？？（困惑）

当我在暴风集群上运行代码（如下所示）时（即当我推我的拓扑时），我得到以下错误（当方案部分被注释时会发生这种情况，当然我会得到编译器错误，因为类在0.8.1中不存在）：

java.lang.NoClassDefFoundError: backtype/storm/spout/MultiScheme
        at storm.kafka.TestTopology.main(TestTopology.java:37)
Caused by: java.lang.ClassNotFoundException: backtype.storm.spout.MultiScheme

在下面给出的代码中，您可以找到spoutConfig。scheme=新StringScheme（）；部分评论。如果我不注释那一行，我会得到编译器错误，这是很自然的，因为里面没有构造函数。另外，当我实例化MultiScheme时，我得到一个错误，因为我在0.8.1中没有这个类。

public class TestTopology {
    public static class PrinterBolt extends BaseBasicBolt {
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
        }

        public void execute(Tuple tuple, BasicOutputCollector collector) {
            System.out.println(tuple.toString());
        }
    }

    public static void main(String [] args) throws Exception {
        List<HostPort> hosts = new ArrayList<HostPort>();
        hosts.add(new HostPort("127.0.0.1",9092));
        LocalCluster cluster = new LocalCluster();
        TopologyBuilder builder = new TopologyBuilder();
        SpoutConfig spoutConfig = new SpoutConfig(new KafkaConfig.StaticHosts(hosts, 1), "test", "/zkRootStorm", "STORM-ID");
        spoutConfig.zkServers=ImmutableList.of("localhost");
        spoutConfig.zkPort=2181;
        //spoutConfig.scheme=new StringScheme();
        spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
        builder.setSpout("spout",new KafkaSpout(spoutConfig));
        builder.setBolt("printer", new PrinterBolt())
                .shuffleGrouping("spout");
        Config config = new Config();

        cluster.submitTopology("kafka-test", config, builder.createTopology());

        Thread.sleep(600000);
    }

Answer 1

我们也有类似的问题。

我们的解决方案：

>

打开pom.xml

将范围从提供更改为

如果您想了解更多关于依赖作用域的信息，请查看maven docu： Maven docu-依赖作用域

Answer 2

我也有同样的问题。最终解决了这个问题，我将完整的运行示例放在github上。

欢迎你来这里看看

（单击storm kafka目录中的示例程序，该程序将帮助您启动并运行）。