当前位置: 首页 > 知识库问答 >
问题:

KStreams+Spark Streaming+机器学习

谢修真
2023-03-14

但我在Kstreams那边。现在我糊涂了!!!

问题:
1。Spark流媒体和Kafka流媒体有什么区别?
2。我怎样才能把KStreams+Spark Streaming+机器学习结合起来?
3。我的想法是连续训练测试数据,而不是批量训练。

共有1个答案

狄侯林
2023-03-14

首先,术语“汇流的Kafka流”在技术上是不正确的。

  1. 它被称为Kafka's Streams API(又名Kafka Streams)
  2. 它是Apache Kafka的一部分,因此由Apache Software Foundation(而不是Confluent)“拥有”
  3. 有Confluent开源和Confluent Enterprise--这是Confluent提供的两种产品,它们都利用了Apache Kafka(因此也就是Kafka流)

然而,Confluent为Apache Kafka提供了大量代码,包括Kafka流。

    null
    null

因此,没有理由将两者都“联姻”--这是一个选择你想使用哪一个的问题。

我个人的看法是,Spark不是流处理的好解决方案。如果您想要使用像Kafka Streams这样的库,或者像Apache Flink、Apache Storm或Apache Apex这样的框架(这些都是流处理的好选择),这取决于您的用例(也许是个人的喜好),并且无法在SO上得到答案。

Kafka流的一个主要区别在于,它是一个库,不需要处理集群。因为它是Apache Kafka的一部分,如果您已经安装了Apache Kafka,这可能会简化您的整体部署,因为您不需要运行额外的处理集群。

 类似资料:
  • Python 有着海量的可用于数据分析、统计以及机器学习的库,这使得 Python 成为很多数据科学家所选择的语言。 下面我们列出了一些被广泛使用的机器学习及其他数据科学应用的 Python 包。 Scipy 技术栈 Scipy 技术栈由一大批在数据科学中被广泛使用的核心辅助包构成,可用于统计分析与数据可视化。由于其丰富的功能和简单易用的特性,这一技术栈已经被视作实现大多数数据科学应用的必备品了。

  • 主要内容 前言 课程列表 推荐学习路线 数学基础初级 程序语言能力 机器学习课程初级 数学基础中级 机器学习课程中级 推荐书籍列表 机器学习专项领域学习 致谢 前言 我们要求把这些课程的所有Notes,Slides以及作者强烈推荐的论文看懂看明白,并完成所有的老师布置的习题,而推荐的书籍是不做要求的,如果有些书籍是需要看完的,我们会进行额外的说明。 课程列表 课程 机构 参考书 Notes等其他资

  • 机器学习与人工智能学习笔记,包括机器学习、深度学习以及常用开源框架(Tensorflow、PyTorch)等。 机器学习算法 _图片来自scikit-learn_。 机器学习全景图 _图片来自http://www.shivonzilis.com/_。

  • 机器学习与人工智能学习笔记,包括机器学习、深度学习以及常用开源框架(Tensorflow、PyTorch)等。

  • 我已经找了几个小时了,但找不到一个能回答这个问题的东西。我已经创建并发布了一个新的Azure机器学习服务,并创建了一个endpoint。我可以使用Postman REST客户机调用服务,但是通过JavaScript网页访问它会返回一个控制台日志,说明该服务启用了CORS。现在,对于我来说,我想不出如何为Azure机器学习服务禁用CORS。如有任何帮助,不胜感激,谢谢!

  • @subpage tutorial_py_knn_index_cn 学习使用kNN分类器。 同时学习编写一个基于kNN的手写字符识别程序。 @subpage tutorial_py_svm_index_cn 理解SVM的概念。 @subpage tutorial_py_kmeans_index_cn 学习使用K-Means聚类将数据分组到多个集合中。 另外我们会学习使用K-Means聚类进行颜色量