如何避免Hadoop猪和蜂巢中的不良记录？
嗨，我是Hadoop的新手，我发现在Java map reduce中使用SkipBadRecord类可以跳过任何输入格式的badrecords，所以我只想知道在Pig和Hive中是如何实现的？
共有1个答案
配置单元中的不良记录处理
若要过滤配置单元中的不良记录，可以在查询中启用跳过模式。跳过模式的配置单元配置为：
SET mapred.skip.mode.enabled = true;
您需要在配置单元查询之前设置以上命令。您还可以通过提供以下参数来限制配置：
SET mapred.map.max.attempts = 100;
SET mapred.reduce.max.attempts = 100;
SET mapred.skip.map.max.skip.records = 30000;
SET mapred.skip.attempts.to.start.skipping = 1
请看这个与猪有关的有用链接
-
我浏览了几篇文章，基本上都指出Hive用于结构化处理，Pig用于非结构化处理。我们什么时候需要本地地图缩减？你能指出一些使用Pig或Hive但在原生map Reduce中无法解决的场景吗？
-
我对Apache Hadoop有些陌生。我已经看到了关于Hadoop、HBase、Pig、Hive和HDFS的这个和这个问题。两者都描述了上述技术之间的比较。 但是，我已经看到，Hadoop环境通常包含所有这些组件(HDFS、HBase、Pig、Hive、Azkaban)。 有人能以架构工作流的方式解释那些组件/技术与其在Hadoop环境中的职责之间的关系吗？最好是举个例子？
-
地图-缩小，蜂巢，猪的区别 pig：这是一种数据流语言，它可以处理基本上用于将半结构化、非结构化数据转换为结构化的任何数据，以便使用窗口功能等在hive advance分析中使用。 配置单元：处理结构数据并提供sql类型的查询语言。 我知道在后端，pig和hive都使用map-reduces。 我知道map-duce对程序员来说是个好工具，对sql人来说是蜂巢或猪 我只想知道我们在hive、pig
-
蜂巢平台（OpenComb Platform）是一个基于 PHP 5.3 实现的深度云计算应用框架。蜂巢采用了扩展模式，系统中的功能和特性，都由扩展提供。 因此，用户可以通过开发和安装扩展来部署各种类型的互联网应用。
-
问题内容： 我正在执行超过1.5 TB数据的Hadoop作业，并进行了大量模式匹配。我有几台机器，每台机器都有16GB的RAM，我总是用这些数据来完成这项工作（我正在使用Hive）。 我想知道如何在文件中优化设置选项，所以我的工作不会失败。甚至可以设置此选项以使我的工作不会失败吗？ 当我设置为1.5 GB并从查询中删除了一半的模式匹配时，作业成功运行。那么，如果该选项不能帮助避免作业失败，那么该选