spark中的RDD是什么

Question

定义如下：

RDD是不可变的分布式对象集合

我不太明白这是什么意思。它像存储在硬盘上的数据（分区对象）吗？如果是这样，那么RDD为什么可以有用户定义的类（如java、scala或python）

通过此链接：https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch03.html它提到：

用户通过两种方式创建RDD：加载外部数据集，或在其驱动程序中分发对象集合（例如，列表或集合）

我真的很困惑理解一般的RDD以及与火花和hadoop的关系。

有人能帮忙吗。

Answer 1

从形式上讲，RDD是只读的、分区的记录集合。RDD只能通过对（1）稳定存储中的数据或（2）其他RDD进行确定性操作来创建。

RDD具有以下属性-

>

如果需要，用户可以根据他们想要加入多个数据集的键定义自己的分区标准。

粗粒度操作：粗粒度操作是应用于数据集中所有元素的操作。例如–将对RDD分区中的所有元素执行的映射、过滤器或groupBy操作。

容错：由于RDD是在一组转换上创建的，所以它记录这些转换，而不是实际数据。这些转换生成一个RDD的图称为沿袭图。

例如-

firstRDD=sc.textFile("hdfs://...")

secondRDD=firstRDD.filter(someFunction);

thirdRDD = secondRDD.map(someFunction);

result = thirdRDD.count()

如果我们丢失了RDD的某个分区，我们可以在沿袭中重放该分区上的转换以实现相同的计算，而不是跨多个节点进行数据复制。这个特性是RDD的最大好处，因为它节省了大量的数据管理和复制工作，从而实现了更快的计算。

惰性评估：Spark在第一次将RDD用于操作时会惰性地计算RDD，以便它可以管道化转换。因此，在上面的示例中，RDD将仅在调用count（）操作时进行计算。

持久性：用户可以指示他们将重用哪些RDD并为它们选择存储策略（例如，内存存储或磁盘上等）

RDD的这些特性使其对于快速计算非常有用。

Answer 2

RDD是数据集的逻辑引用，该数据集跨集群中的多台服务器进行分区。RDD是不可变的，在发生故障时可以自我恢复。

数据集可以是用户从外部加载的数据。它可以是json文件、csv文件或没有特定数据结构的文本文件。

更新：以下是描述RDD内部的文件：

希望这有帮助。

Answer 3

RDD本质上是一组数据的Spark表示，分布在多台机器上，并使用API对其进行操作。RDD可以来自任何数据源，例如文本文件、通过JDBC的数据库等。

正式定义为：

RDD是一种容错的并行数据结构，允许用户在内存中显式地持久化中间结果，控制其分区以优化数据放置，并使用一组丰富的操作符对其进行操作。

如果您想了解RDD的全部细节，请阅读Spark的核心学术论文之一《弹性分布式数据集：内存集群计算的容错抽象》