蜂巢、猪、地图缩减用例之间的区别

Question

地图-缩小，蜂巢，猪的区别

pig：这是一种数据流语言，它可以处理基本上用于将半结构化、非结构化数据转换为结构化的任何数据，以便使用窗口功能等在hive advance分析中使用。

配置单元：处理结构数据并提供sql类型的查询语言。

我知道在后端，pig和hive都使用map-reduces。

我知道map-duce对程序员来说是个好工具，对sql人来说是蜂巢或猪

我只想知道我们在hive、pig和map reduce方面有没有具体的使用案例

基本上，我们决定在这里使用pig-here-hive，或者必须使用map-reduce。

Answer 1

Pig是一种数据流语言。这意味着您不能使用if语句或循环。如果您需要做大量重复，最好学习mapduce。

您可以通过将猪嵌入到python脚本中来解决这个问题，但这需要更长的时间，因为它必须在循环的每次迭代中加载所有jar文件。

基本上，它归结为你花了多少时间来制作原型，而你有多少生产工作。如果你是一名数据科学家或分析师，你的大部分工作都是需要大量原型的新项目。这意味着您关心快速获得结果。那么你更喜欢猪或蜂房。如果您是开发团队中的一员，那么您希望基于商定的方法构建健壮的代码，而不需要进行测试，然后您会选择mapreduce。

有像Cloudera这样的公司提供了Pig、Hive和其他Hadoop工具包，因此您不必在两者之间进行选择。

Answer 2

Pig用于格式化非结构化/半结构化数据格式。假设您的数据中有一个时间戳，它与Hive时间戳格式不同。您可以使用pigUDF进行转换并格式化数据。这只是一个解释的例子。你可以用猪做更多的事情。

Hive基本上用于结构化数据。这可能不适用于非结构化数据。在转换为Mapreduce作业时，这需要更多的时间来执行。我建议你用黑斑羚，它比蜂箱快得多。

Answer 3

Map Reduce：性能优于pig或hive，但需要更多的开发时间。

PIg：较少的开发时间，但性能较差，当与map-减少相比。

Hve：SQL类型语言，具有一些很好的特性，如分区和单元化，以提高读取性能。此外，hive在读取时强制执行模式。