Spark中RDD和Dataframe的区别是什么？[重复]

Question

嗨，我对apache spark比较陌生。我想了解RDD、dataframe和数据集之间的区别。

例如，我从s3存储桶中提取数据。

df=spark.read.parquet("s3://output/unattributedunattributed*")

在这种情况下，当我从s3加载数据时，什么是RDD？另外，由于RDD是不可变的，所以我可以更改df的值，使df不能是RDD。

如果有人能解释RDD、数据帧和数据集之间的区别，我将不胜感激。

Answer 1

df=spark.read.parquet("s3://output/unattributedunattributed*")

使用此语句，您将创建一个数据帧。

要创建RDD，请使用

df=spark.textFile("s3://output/unattributedunattributed*")

RDD代表弹性分布式数据集。它是记录的只读分区集合。RDD是Spark的基本数据结构。它允许程序员在内存中进行计算

在Dataframe中，组织成命名列的数据。例如关系数据库中的表。它是一个不可变的分布式数据集合。Spark中的DataFrame允许开发人员将结构强加到分布式数据集合上，从而允许更高级别的抽象。

1. 如果要对整个数据集应用映射或过滤器，请使用RDD

例如，如果您想用“B”替换整个数据中的“A”，那么RDD很有用。

rdd = rdd.map(lambda x: x.replace('A','B')

如果要更新列的数据类型，请使用Dataframe。

dff = dff.withColumn("LastmodifiedTime_timestamp", col('LastmodifiedTime_time').cast('timestamp')

RDD可以转换为数据帧，反之亦然。