当前位置: 首页 > 知识库问答 >
问题:

nifi putHDFS写入本地文件系统

宋宏毅
2023-03-14

这使我感到困惑,因此我的问题是:

  • 在PutHDFS中,我链接到HDFS集群的配置单元站点和核心站点(我尝试更新所有服务器引用到HDFS namenode,但没有效果)
  • 我不在HDFS集群上使用Kerberos(我在NIFI集群上使用它)
  • 我在NIFI应用程序日志中没有看到任何类似错误的东西(这是有意义的,因为它成功地写入了错误的位置)
  • 这两个集群都是使用CloudBreak在Amazon AWS上新生成的,向所有流量开放所有节点无济于事

共有1个答案

楚建柏
2023-03-14

是否可以使用以下命令将文件从NiFi节点移动到Hadoop:-Hadoop fs-put

如果您能够使用上面的命令移动您的文件,那么您必须检查您的Hadoop配置文件,您将它传递到您的PutHDFS处理器中。

另外,检查您没有任何其他流在运行,以确保没有其他流在处理该文件。

 类似资料:
  • 使用 electron 的一大好处是可以访问用户的文件系统。这使你可以读取和写入本地系统上的文件。为了避免 Chromium 的限制以及对应用程序内部文件的改写,请确保使用 electron 的 API,特别是 app.getPath(name) 函数。这个帮助函数可以使你获得指向系统目录的文件路径,如用户的桌面、系统临时文件 等等。 使用案例 假设我们想为我们的应用程序提供本地的数据库存储。在这

  • 引言 我们将在本文分析iOS的文件系统,了解其目录是如何组织的,查看一些重要的文件,然后看看如何才能够从数据库文件和plist文件导出数据。我们将学习应用是如何在特定目录(沙盒)内存放数据的,以及怎样才能提取这些数据。 有一个很重要的事情需要注意,在前面的文章中,我们都是以root身份登录进设备的。设备上有另一个用户名叫mobile, 一个mobile用户拥有的权限是少于root用户的。除了Cyd

  • 问题内容: 因此,我正在使用 BufferedWriter, 并希望将一些文本写入文本文件。 由于某种原因,正在创建文本文档,但是没有写入任何文本,这是为什么呢? 问题答案: 您需要关闭或使用

  • 问题内容: 我正在从Google文档中提取数据,进行处理,然后将其写入文件(最终我将其粘贴到Wordpress页面中)。 它具有一些非ASCII符号。如何将这些安全地转换为可以在HTML源代码中使用的符号? 目前,我正在将所有内容都转换为,将它们全部合并为Python字符串,然后执行以下操作: 最后一行存在编码错误: 编解码器无法解码位置12286的字节:序数不在范围内(128) 部分解决方案:

  • 问题内容: 假设您有一个用于处理某种XML文件或配置文件的库。该库将整个文件读入内存,并提供用于编辑内容的方法。处理完内容后,可以调用将内容保存回文件。问题是如何以安全的方式执行此操作。 覆盖现有文件(开始写入原始文件)显然是不安全的。如果该方法在完成之前失败,则最终将写入一半的文件,并且您丢失了数据。 更好的选择是在某个位置写入 临时 文件,方法完成后, 将 临时文件 复制 到原始文件。 现在,

  • 当我从Cassandra加载数据以触发Rdd并在Rdd上执行一些操作时,我知道数据将分布到多个节点中。在我的例子中,我希望将这些rdds从每个节点直接写到它的本地Cassandra dB表中,无论如何都要这样做。 如果我进行正常的rdd收集,所有来自spark节点的数据将被合并并返回到带有驱动程序的节点。我不希望这种情况发生,因为数据流从节点返回驱动节点可能需要很长时间,我希望数据直接保存到本地节