当前位置: 首页 > 知识库问答 >
问题:

追加到现有序列文件

谢誉
2023-03-14

在我的用例中,我需要一个find a way将键/值对追加到现有序列文件中。怎么做?任何线索都会大有帮助。我正在使用Hadoop2X。

Construct the preferred type of SequenceFile Writer.

Parameters:
    fc - The context for the specified file.
    conf - The configuration.
    name - The name of the file.
    keyClass - The 'key' type.
    valClass - The 'value' type.
    compressionType - The compression type.
    codec - The compression codec.
    metadata - The metadata of the file.
    **createFlag - gives the semantics of create: overwrite, append etc.**
    opts - file creation options; see Options.CreateOpts. 
Returns:
    Returns the handle to the constructed SequenceFile Writer. 
Throws:
    IOException

共有1个答案

严琨
2023-03-14

更新:问题HADOOP-7139现在已经关闭,从版本2.6.1/2.7.2开始,可以追加到现有的序列文件:)

(我使用的是2.7.1版本,并在SequenceFile中查找append,所以我降级到2.6.1,因为2.7.2版本还没有发布)

 类似资料:
  • 问题内容: 假设您有一些AppendObjectOutputStream类(这是一个ObjectOutputStream!),它重写了writeStreamHeader(),如下所示: 现在,假设您打算将多个对象保存到一个文件中。程序每次运行时,一个对象。即使在第一次运行时,您是否也会使用AppendObjectOutputStream()? 问题答案: 您必须首先使用常规ObjectOutput

  • 假设您有一些AppendObjectOutputStream类(这是一个ObjectOutputStream!)将重写writeStreamHeader(),如下所示: 现在,假设您计划将多个对象保存到一个文件中;每次程序运行一个对象。即使在第一次运行时,您也会使用AppendObjectOutputStream()吗?

  • 有什么方法可以在现有的parquet文件中追加一个新列吗?

  • 问题内容: 我正在编写一个包含10个存储桶列表的简单哈希表。使用内置函数计算索引,然后对表大小取模。但是,当我尝试将对象附加到该索引的存储桶列表时,它会附加到每个存储桶列表。我尝试用不同的方式定义add_HT,但我一直得到相同的结果。我究竟做错了什么? 问题答案: 使指向 同一列表 的指针数量增加。这里不是问题。您需要定义为。

  • 问题内容: 我想计算一些列数据并将其作为列写入文件。然后,在计算了另一列数据之后,我想将其附加到同一文件中,但作为新列。 这是我所做的: 结果-它将新列追加到第一列下方,因此我只有一个长列。 谢谢, 问题答案: 您将必须逐行读取文件,然后将新列插入每一行。这是使用BufferedReader和BufferedWriter的解决方案

  • 问题内容: 嘿,我需要附加到我的文件中,但是它不起作用,它会不断覆盖文件,任何人都可以告诉我出什么问题了: 提前致谢。 问题答案: 您可以通过更改分配以下内容的行来解决此问题: 使用仅包含的构造函数打开文件时,它将覆盖文件中先前的内容。如果提供第二个参数,则表示您要附加到第二个参数的末尾。