如何使用python将数据从Kafka发送到ElasticSearch
我正在使用Python语言。我有csv文件，我需要转换成json并发送到kafka，然后发送到ElasticSearch。
我能够将Csv转换为Json并发送给Kafka消费者。如何从Kafka Consumer向ElasticSearch获取数据
共有2个答案
您可以使用Logstash和Kafka输入插件将数据发送到Elasticsearch。它易于配置和运行。https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html
您不需要编写任何Python。Kafka本身提供了一个流式集成API，称为Kafka Connect。要使用它，您只需使用JSON文件配置它。
- 使用将CSV文件摄取到Kafka中https://github.com/jcustenborder/kafka-connect-spooldir
- 它的使用示例：https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2
免责声明：我为Confluent工作，并撰写了上述文章。
-
问题内容： 我正在使用Flask创建一个网站，并且希望能够使用页面中的数据执行python代码。我知道我可以简单地使用表单，但是它是一个页面，它在接收用户输入时会不断更新，并且每次发生任何事情时都要重新加载页面，这是一个很大的麻烦。我知道我可以在javascript内执行操作，但是如何使用js变量在javascript内执行操作？到目前为止，我唯一能想到的就是用js更新外部数据库（如MongoDB
-
我正在尝试在我的网站上实现一个拖放文件上传器。文件被删除后立即上传，我想生成一个URL与flask将弹出在预览。我正在使用Dropzone.js。在dropzone的文档中，提供了一个示例，作为将数据从服务器发回并在文件上载后显示的指南。https://github.com/enyo/dropzone/wiki/faq#i-want-to-display-additution-informatio
-
问题内容： 我是Rails和Web开发的新手。 我正在Matlab中生成一堆对象，我想将这些对象发送到我的Rails应用程序中的数据库中。谁能建议我该怎么做？ 到目前为止，在Rails端，我已经为数据生成了基本的支架。我可以使用“ / myobjects / new”中的表单将对象添加到数据库中。 在Matlab端，我一直在尝试使用HTTP POST请求添加对象，如下所示： 这将失败，并将以下内容
-
我有一个片段，它打开一个对话框fragment来获取用户输入（一个字符串和一个整数）。我该如何将这两样东西送回碎片？ 这是我的对话片段： 我需要在单击按钮之后和 以下是数据需要发送到的片段： 因此，一旦用户在Dialogfragment中选择日期，它必须返回月份和年份。 然后，按钮上的文本应更改为用户指定的月份和年份。
-
我有一个场景，我需要向Kafka主题发送大量数据（超过一百万条记录）。从数据库中获取数据并遍历每条记录，同时将每条记录发布到Kafka主题中。目前，我已经添加了Kafka事务性，并实现了原子性（发布所有内容或不发布任何内容）。但当我尝试在同一个事务中发布超过35k条记录时，出现网关超时异常。 在《SpringKafka》中，有没有更好的方法来处理这种情况？
-
问题内容： 朋友，我想在JAVA中连接数据并将其传输到COM PORT（虚拟或原始）吗？ 问题答案： 引用一些。 我个人从推荐的SerialPort http://serialio.com - 它不是免费的，但它是非常值得的开发商（无稿费）牌费，任何商业项目 。可悲的是，它不再是免版税的，SerialIO.com似乎已重新成为硬件销售商。我不得不在SerialPort上搜索信息。 从个人经验来看，