地图缩小

Question

我正在阅读hadoop权威指南，它写着Map Reduce适合更新数据库的大部分，并且它使用Sort

RDBMS也适合只更新大数据库的较小部分，它使用受寻道时间限制的B树

有人能详细说明这两种说法的真正含义吗？

Answer 1

我不太清楚这本书的意思，但如果您仍然有原始数据，通常会执行map-reduce工作来重建整个数据库/任何东西。

hadoop真正的优点是它是分布式的，所以性能不是真正的问题，因为您可以添加更多的机器。

让我们举一个例子，您需要重建一个包含10亿行的复杂表。使用RDBMS，您只能垂直扩展，因此您将更多地依赖于CPU的能力和算法的速度。您将使用一些SQL命令来完成它。你需要选择一些数据，处理它们，做一些事情等等，所以你很可能会受到搜索时间的限制。

使用hadoop map reduce，您可以添加更多的机器，因此性能不是问题。假设您使用10000个映射器，这意味着任务将被划分为10000个映射器容器，并且由于hadoop的性质，所有这些容器通常已经在本地存储了硬盘上的数据。每个映射器的输出始终是其本地硬盘上的键值结构格式。映射器使用键对这些数据进行排序。

现在的问题是，他们需要将数据组合在一起，因此所有这些数据都将发送到减速机。这是通过网络发生的，如果您有大数据，这通常是最慢的部分。减速机将接收所有数据并将它们合并排序以进行进一步处理。最后，您有一个文件可以上传到您的数据库。

如果您有大量数据，从mapper到reducer的传输通常需要最长的时间，而网络通常是您的瓶颈。也许这就是取决于转会时间的意思。