使用 MapReduce 删除包含特定单词的整个句子

Question

我正在学习MapReduce，我想读取一个输入文件(逐句)并将每个句子写入一个输出文件，前提是它不包含单词“snake”。

例如。输入文件：

This is my first sentence. This is my first sentence.
This is my first sentence.

The snake is an animal. This is the second sentence. This is my third sentence.

Another sentence. Another sentence with snake.

则输出文件应为：

This is my first sentence. This is my first sentence.
This is my first sentence.

This is the second sentence. This is my third sentence.

Another sentence.

为此，我在< code>map方法中检查句子(< code>value)是否包含单词snake。如果句子中不包含snake单词，那么我将在< code>context中书写该句子。

此外，我将化简器任务的数量设置为0，否则在输出文件中，我以随机顺序获取句子（例如，第一个句子，然后是第三个句子，然后是第二个句子，依此类推）。

我的代码确实正确地过滤了含有snake单词的句子，但问题是它将每个句子都写在一个新行中，就像这样:

This is my first sentence. 
 This is my first sentence. 

This is my first sentence. 
 This is the second sentence. 
 This is my third sentence. 


Another sentence. 

. 

如何才能把一个句子写在新的一行里，只有那个句子出现在输入文本的新一行里？以下是我的代码:

public class RemoveSentence {

    public static class SentenceMapper extends Mapper<Object, Text, Text, NullWritable>{

        private Text removeWord = new Text ("snake");

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            if (!value.toString().contains(removeWord.toString())) {
                Text currentSentence = new Text(value.toString()+". ");
                context.write(currentSentence, NullWritable.get());
            }
        }
    }


    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("textinputformat.record.delimiter", ".");

        Job job = Job.getInstance(conf, "remove sentence");
        job.setJarByClass(RemoveSentence.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        job.setMapperClass(SentenceMapper.class);
        job.setNumReduceTasks(0);

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

这个解决方案和其他解决方案表示，这应该足以设置＜code＞上下文。写入（字，空） 但在我的情况下不起作用。

另一个问题与< code > conf . set(" textinputformat . record . delimiter "，")有关);。这就是我如何定义句子之间的分隔符，因此有时输出文件中的句子以空格开始(例如，第二个< code >这是我的第一个句子。)。作为替代，我尝试将它设置为< code > conf . set(" textinputformat . record . delimiter "，". ");(句号后有一个空格)，但这样Java应用程序就不会在输出文件中写入所有的句子。

Answer 1

你离解决这个问题已经很近了。想想你的MapReduce程序是如何工作的。你的map方法将每个由“.”分隔的句子（如你所知，默认为换行符）作为一个新值，然后将其写入文件。你需要一个属性来禁止在每次map（）调用后写入换行符。我不确定，但我认为这样的属性不存在。

一种解决方法是让它正常处理。示例记录如下:

这是第一句话。这是第二条蛇。这是最后一次。

找到“snake”一词，如果找到，则立即删除前一个“.”到下一个“。打包新字符串并将其写入上下文。

当然，如果你能找到一种方法在map（）调用后禁用换行符，那么这将是最简单的。

希望这能有所帮助。