如何在pyspark中将DataFrame转换回正常的RDD？

Question

我需要使用

(rdd.)partitionBy(npartitions, custom_partitioner)

DataFrame上不可用的方法。所有DataFrame方法都只引用DataFrame结果。那么，如何从数据帧数据中创建RDD呢？

注意：这是对 1.2.0 的更改（在 1.3.0 中）。

更新来自@dpangmao的回答:方法是. rdd。我很想知道(a)它是否是公共的，以及(b)它对性能有何影响。

好吧（a）是和（b）-好吧，您可以在这里看到有显着的perf含义：必须通过调用map分区来创建一个新的RDD：

在数据帧中。py（注意文件名也更改了（是sql.py）：

@property
def rdd(self):
    """
    Return the content of the :class:`DataFrame` as an :class:`RDD`
    of :class:`Row` s.
    """
    if not hasattr(self, '_lazy_rdd'):
        jrdd = self._jdf.javaToPython()
        rdd = RDD(jrdd, self.sql_ctx._sc, BatchedSerializer(PickleSerializer()))
        schema = self.schema

        def applySchema(it):
            cls = _create_cls(schema)
            return itertools.imap(cls, it)

        self._lazy_rdd = rdd.mapPartitions(applySchema)

    return self._lazy_rdd

Answer 1

Kennyut/Kistian 给出的答案效果很好，但是当 RDD 由属性列表组成时，为了获得精确的 RDD 输出，例如 [1，2，3，4]，我们可以使用如下所示的 flatmap 命令，

rdd = df.rdd.flatMap(list)

或

rdd = df.rdd.flatMap(lambda x: list(x))

Answer 2

@dapangmao的回答是可行的，但是它没有给出常规的火花RDD，它返回一个Row对象。如果你想要常规的RDD格式。

试试这个：

rdd = df.rdd.map(tuple)

或

rdd = df.rdd.map(list)

Answer 3

使用方法< code >。rdd如下:

rdd = df.rdd