Hadoop输入拆分和记录阅读器
在apache文档中阅读以下内容：
InputSplit表示单个映射器要处理的数据。
通常，它在输入上显示一个面向字节的视图，作业的RecordReader负责处理该输入并显示一个面向记录的视图。
链接-https://hadoop.apache.org/docs/r2.6.1/api/org/apache/hadoop/mapred/inputsplit.html
有人能解释一下面向字节的视图和面向记录的视图之间的区别吗？
共有1个答案
HDFS拆分它的块（面向字节的视图），以便每个块小于或等于配置的块大小。因此，它被认为没有遵循逻辑分裂。意味着最后一条记录的一部分可能位于一个块中，其余部分位于另一个块中。这似乎是正确的存储。但在处理时，块中的部分记录不能按原样处理。因此，面向记录的视图就到位了。这将确保在另一个块中获得最后一条记录的剩余部分，使其成为完整记录块。这被称为输入分裂（面向记录的视图）。
-
我是Hadoop的新手，我的map-reduce代码可以工作，但它不产生任何输出。这里是Map-Reduce的信息： 下面是启动mapreduce作业的代码： 如果有任何帮助，我们将不胜感激。谢谢你
-
假设我有一个输入文件，在HDFS中为这个文件创建了三个块。假设我有三个数据节点，每个数据节点存储一个块。如果我有3个输入拆分，则3个映射器将并行运行，以处理各自数据节点的本地数据。每个映射器使用输入格式和记录读取器以键值对的形式获取输入。此场景使用TextInputFormat,其中记录是来自文件的完整文本行。 这里的问题是，如果在第一个块的末尾有记录中断，会发生什么。 1)Hadoop如何读取此
-
我有以下代码： 我只想模拟这些行，并在，因为我将有多个测试用例，具体取决于行（文件为空，行为空，我只得到一行，我得到几行，等等）。 注意：我使用库访问FTP服务器上的文件，因此方法将作为返回类型，而具有。 我正在使用junit 4.12和mockito 3.1.0 提前感谢！
-
根据 FileInputFormats定义的逻辑记录通常不适合HDFS块。例如，TextInputFormat的逻辑记录是行，它们通常会跨越HDFS边界。这与程序的功能无关--例如，行不会丢失或中断--但值得了解，因为这确实意味着数据本地映射（即与输入数据运行在同一主机上的映射）将执行一些远程读取。这导致的轻微开销通常并不显著。 假设记录行被分成两个块(b1和b2)。处理第一个块(b1)的映射器将
-
我们从kafka向SparkStreaming发送了15张唱片，但是spark只收到了11张唱片。我用的是spark 2.1.0和kafka_2.12-0.10.2.0。 密码 bin/Kafka-console-producer . sh-broker-list localhost:9092-topic input data topic # 1 2 3 4 5 6 7 8 9 10 11 12
-
我有一个128 MB的文件，所以它被分成两个块（块大小=64 MB）。我正在尝试使用自定义记录读取器类将固定长度的文件转换为分隔的ASCII文件 是否也应该将任何值设置为start变量？