当前位置: 首页 > 知识库问答 >
问题:

如何使用curl将.csv文件从本地计算机(Getfile)发送到Apache Nifi中的配置单元(Puthiveql)?

公孙俭
2023-03-14

我想使用curl将.csv文件或mysql表从本地机器(GetFile)发送到Apache Nifi中的配置单元(PutHiveql)。请让我知道是否有使用curl进行此操作的命令。

共有1个答案

松烨烨
2023-03-14

这个问题没有形成的意义。如果您希望将CSV文件的内容摄取到Apache NiFi,路由和转换它,并最终将其写入配置单元表,流程如下:

GetFile -> ConvertRecord (CSVReader to AvroRecordSetWriter) -> [Optional processors] -> PutHiveStreaming

puthiveStreaming希望传入的flowfile内容为Avro格式,因此convertrecord处理器将把获取的数据转换为正确的语法。

我不确定curl如何适合这个问题。NiFi提供了invokehttp处理器来允许任意传出HTTP请求,以及executeStreamCommand处理器来调用任意命令行活动,包括curl。我不知道为什么您需要在这个流中调用任何一个。如果您询问如何通过外部curl命令触发整个流,NiFi提供listenhttphandleHttpRequest处理器,它们启动本地web服务器并侦听传入的HTTP请求。您可以将这些处理器连接到一对wait/notify处理器,以控制所摄入的文件数据的流,因为getfile是源处理器,不允许传入的flowfiles触发它。

 类似资料:
  • 我试图用java spring创建一个接受csv文件的restendpoint。 我的控制器如下所示: 将-vv选项添加到curl调用中会导致以下输出:

  • 问题内容: 我想从我的本地主机使用mail()函数。我已安装WAMP和一个Gmail帐户。我知道Gmail的SMTP是smtp.gmail.com,端口是465来自gmail的更多信息。我需要在WAMP中进行配置,以便可以使用mail()函数吗? 谢谢!! 问题答案: Gmail服务器在SSL或TLS下使用SMTP身份验证。我认为在这种情况下无法使用该功能,因此您可能需要检查以下替代方法: PEA

  • 我是hadoop蜂巢的新手。我使用的是开源的hadoop 2.7.1配置单元1.2.2。它安装在ubuntu上,一个单一的节点集群。我在csv文件中有106行30列数据。我使用以下代码将其导入到配置单元表中: 然后我得到了null列名:返回的前半部分,返回的后半部分 请帮我怎么解决。提前感谢!

  • 我需要将大型csv文件从node发送到Python。这段代码适用于小文件,但不适用于大文件。我也试过产卵过程。我不明白问题出在哪里。如果有人知道正确的代码,请分享 代码: 错误

  • 我无法发送电子邮件从本地主机使用php脚本这是我的代码 ?> php.ini文件... “邮件功能” ;仅适用于Win32。 请帮助我解决我的问题。

  • 问题内容: 我正在编写API,并且想处理从表单上传的文件。表单的标记没有什么太复杂的: 但是,我很难理解如何处理此服务器端并与cURL请求一起发送。 我熟悉使用带有数据数组的cURL 发送请求,并且在上载文件时阅读的资源告诉我在文件名前加上一个符号。但是这些相同的资源具有硬编码的文件名,例如 那么这是哪个文件路径?我在哪里可以找到它?会是什么样子,在这种情况下,我的数组应该像这样: 还是我走错路了