当前位置: 首页 > 知识库问答 >
问题:

如何在处理输入文件模式时获取apache beam中DoFn内的文件名

拓拔意
2023-03-14

我正在处理一个目录内的大量文件。我想在已处理数据输出的元数据中添加文件名。这样,如果在处理过程中出现错误,我们可以检查处理记录的输入文件是什么。

共有1个答案

张丰
2023-03-14

您可以为此使用FileIO类中可用的转换。

特别地,您可以使用fileio.match()后跟fileio.readmatches(),这将产生readablefile对象的pcollection。对于每个readablefile,您可以访问用于读取的字节通道以及包含文件名称的metadata对象。

 类似资料:
  • 我正在处理IDE中制作一个Java处理项目,并希望将其传播到多个PDE(处理源代码)文件中。 我无法使用导入将Java处理源代码文件导入为Java类文件。 <代码>配置。pde <代码>项目。pde 返回导入项目/配置无法解析 分别为。 我必须先编译PDE文件吗?是否可以将处理IDE设置为每次运行都自动执行? 太长,读不下去了 拥有此项目文件夹: 如何使用配置中的函数和变量。项目中的pde。pde

  • 问题内容: 这个问题已经在这里有了答案 : 7年前关闭。 可能重复: 使用jQuery输入文件的完整路径 我有以下html元素 如果我用 我只是文件名,而不是文件的完整绝对路径。有人可以告诉我如何获得完整路径吗? 问题答案: 您不能这样做-由于安全问题,浏览器将不允许这样做。尽管有解决方法,但事实是您不应该依靠这种方法。以下堆栈溢出问题与此处相关: 使用jquery输入文件的完整路径 如何从Fir

  • 问题内容: 我下载了文件作为ajax的响应。如何从内容处置中获取文件名和文件类型并显示其缩略图。我有许多搜索结果,但找不到正确的方法。 控制台输出: 问题答案: 这是我有时使用它的方式。我假设您将附件作为服务器响应提供。 我从REST服务中这样设置响应头 编辑:编辑答案以适合您的问题-使用单词代替

  • 问题内容: 我需要从给定的文件描述符中获取一个文件名,该文件描述符位于我编写的一个小型Linux内核模块中。我尝试了在C中从文件描述符获取文件名中给出的解决方案,但是由于某种原因,它会打印出垃圾值(如解决方案中所述使用on )。我该怎么做? 问题答案: 不要调用-使用与读取其中一个链接时相同的方法。开始与代码中和的。 从广义上讲,给予和从你感兴趣的(你已采取的引用)的任务,你想做的事: 如果您的代

  • 问题内容: 当用户在网页中选择文件时,我希望能够仅提取文件名。 我确实尝试过str.search函数,但是当文件名像这样时似乎失败: c:\ uploads \ ilike.this.file.jpg 。 我们如何仅提取不带扩展名的文件名? 问题答案: 假设您的 < input type =“ file”>具有上 载 ID,则有望实现这一目标:

  • 有人能帮助我如何使用spqr-spring-boot-starter获取模式文件吗? 我在网上寻找解决方案,发现了这个:如何使用SPQR获取生成的方案文件. graph qls? 但是我不确定我应该为架构传递什么?由于我使用的是 spqr-Spring-启动启动器,因此我没有编写任何与 GraphQLSchema 实例相关的内容。 我需要模式文件来启用Postman中的自动完成功能。请协助,如果你