当前位置: 首页 > 知识库问答 >
问题:

映射减少每个键值对的输入/输出发出

寿元白
2023-03-14

MapReduce传递和发出键值对的基本信息。我需要弄清楚我们通过什么和发出什么。以下是我的关注点:MapReduce输入和输出:

1.Map() 方法 - 它是否采用单个或列表的键值对并发出什么?2.对于每个输入键值对,发出什么映射器?相同类型还是不同类型 ?3.对于每个中间键,减速器会发出什么?类型是否有任何限制?4.减速机接收所有具有相同键的值。值将如何排序,如排序或轨道排序?该顺序是否因运行而异?5.在随机播放和排序阶段,键和值以什么顺序显示?

共有2个答案

吕子真
2023-03-14

映射方法:接收作为输入(K1,V1)并返回(K2,V2)。也就是说,输出键和值可以不同于输入键和值。

Reducer方法:映射器的输出被正确地搅乱后(同一个键进入同一个Reducer),Reducer输入为(K2,列表(V2)),其输出为(K3,V3)。作为混洗过程的结果,密钥到达由密钥K2排序的缩减器。

如果您想以您的特定方式对密钥进行排序,您可以实现密钥K3的compareTo方法。

Referring your questions:

1. Answered above.
2. You can emit whatever you want as long it consists of a key and a value. 
   For example, in the WordCount you send as key the word and as value 1.
3. In the WordCount example, the reducer will receive a word and list of number. 
   Then, it will sum up the numbers and emit the word and its sum.
4. Answered above.
5. Answered above.
颜高格
2023-03-14
  • 对于每个输入 k1,v1 映射发出零个或多个 k2、v2。
  • 对于每个 k2 化简器接收 k2,列表 (v1,v3,v4..)。
  • 对于每个输入 k2,list(v) 化简器可以发出零个或多个 k3、v3。

值在步骤2中任意排序。映射器和减速器的键、值-输出应该是同一类型,即所有键必须是同一类型,所有值必须是同一类型。

 类似资料:
  • 本文向大家介绍MyBatis输入映射和输出映射实例详解,包括了MyBatis输入映射和输出映射实例详解的使用技巧和注意事项,需要的朋友参考一下 什么是 MyBatis ? MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以对配置和原生Map使用简单的 XML 或注解,将接口

  • 我正在学习如何使用Mybatis。老实说,我很喜欢这个框架。它很容易使用,我对它很满意,因为我可以使用它的sql命令:)我使用MyBatis 3.4.2和PostgreSQL数据库。 例如,我喜欢在插入之前使用注释执行查询是多么容易。如果我在接口方法之前添加一些注释,那么数据映射就像一个迷人的例子,比如:。 我不喜欢的(我希望你能把我引向正确的方向)有以下几点: 使用JDBC时,我需要做到以下几点

  • 我正在学习Hadoop,并尝试执行我的Mapduce程序。所有Map任务和Reduce er任务都完成得很好,但Reducer将Mapper Output写入Output文件。这意味着根本没有调用Reduce函数。我的示例输入如下所示 预期输出如下所示 以下是我的计划。 这里问了同样的问题,我在reduce函数中使用了Iterable值作为该线程中建议的答案。但这并不能解决问题。我不能在那里发表评

  • 我是Hadoop的新手,但这是我上个月的一个学习项目。 为了使这一点足够模糊,以便对其他人有用,让我先抛出基本目标……假设: < li >显然,您有一个大型数据集,包含数百万个基本ASCII文本文件。 < ul > < li >每个文件都是一个“记录” e. g. /user/hduser/data/customer1/YYYY-MM-DD, /user/hduser/data/customer2

  • 本文向大家介绍Mybatis输入输出映射及动态SQL Review,包括了Mybatis输入输出映射及动态SQL Review的使用技巧和注意事项,需要的朋友参考一下 一、输入映射     通过parameterType指定输入参数的类型,可以是简单类型、pojo包装类、HashMap等 1、输入简单类型 2、输入pojo包装类      Pojo类可根据业务需求,创建某单一实体的扩展实体,Use