键不在第一行时如何使用mapreduce:Hadoop mapreduce
有人能告诉我如何在hadoop中使用MapRe员解决下面的问题吗？
假设我有一个结构如下的文件
- 记录1-值1
- 记录2-值2
- 记录3-值3
- 记录4-值4
- 记录5-值5
- 记录6-值6
- 记录7-key1
- 记录8-值8
- 记录9-值9
- 记录10-值10
- 记录11-值11
- 记录12-值12
- 记录13-值13
- 记录14-key2
我希望输出是键和值的串联字符串，如下所示
- Key1Value1 Value2 Value3 Value4 Value5 Value6
- Key2 Value8 Value9Value10 Value11 Value12 Value13
共有1个答案
是的，根据数据和文件的结构和大小，您可以通过多种方式解决这个问题，也许通过更多的信息，我们可以给您提供更准确的答案：
- 如果同一文件中有相同的字段，则使用CombineFileInputFormat类
您还可以检查KeyValueTextInputFormat类，该类允许您使用不同于行偏移量的内容作为键逐行读取文件。可以通过mapreduce指定分隔符（逗号）。输入keyvaluelinerecordreader。钥匙价值分离器
我希望能有所帮助
-
问题内容： 我有一个文本文件，内容为： 我已经了解了所有内容，并且一切运行正常，但事实是它读取了第一行，这是.txt文件的一种图例，必须将其忽略。 如何使用Scanner类忽略第一行？ 问题答案： 在进行任何处理之前，只需调用一次scan.nextLine（）即可解决问题。
-
问题内容： 我将使用一个具体的但假设的示例。 每个 订单 通常只有一个 订单项 ： 命令： LineItems： 但偶尔会有一个包含两个订单项的订单： 通常在向用户显示订单时： 我想在订单上显示单个项目。但是，如果这个偶然的订单包含两个（或多个）项目，那么这些订单将 看起来 是 重复的 ： 我真正想要的是让SQL Server 仅选择一个 ，因为这样就 足够了 ： 如果我喜欢冒险，可以向用户显示一
-
问题内容： 基本上就是这样，我还没有找到一种在我的应用程序中禁用第三方键盘的方法，尽管我知道这可能是因为，因为我已经在1Password等应用程序中看到了它。 有任何想法吗？ 问题答案： 将此代码添加到您的 斯威夫特4： 苹果参考。
-
我正在创建一个网站。因此，有一个表可以显示用户。在我的数据库中，我为挂起列存储了0，为Approved under Action列存储了1。如果某个用户有0，则此表中将显示Pending，如果该用户有1，则将显示Approved。现在我想知道，当有人单击这个挂起按钮时，我想将数据库值更新为1。我试了一下，如下所示。但是，当我单击挂起按钮时，它会给我这个错误- 在我的网页浏览器地址栏里，我得到了正确
-
我要求Python从CSV数据列中打印最小数量，但最上面的行是列号，我不希望Python考虑最上面的行。我如何确保Python忽略第一行？ 这是目前为止的代码： 你能解释一下你在做什么，而不仅仅是给出代码吗？我对Python非常陌生，希望确保我了解所有内容。
-
问题内容： 我有以下豆类 以及相应的编组代码 我想使属性在运行时可配置，我想在运行时在“ num”上指定@xmltransient而不进行编译。我该怎么办？ 问题答案： 注意： 我是 EclipseLink JAXB（MOXy）的 负责人，并且是 JAXB 2（JSR-222） 专家组的成员。 MOXy JAXB实现提供了通过其扩展在运行时操纵映射元数据的功能。有关详细示例，请参见： http:/