如何制作好的可复制的Apache Spark示例

Question

我花了相当多的时间阅读了一些带有pyspark和spark-dataframe标签的问题，我经常发现海报没有提供足够的信息来真正理解他们的问题。我通常会评论，要求他们发布一个MCVE，但有时让他们展示一些输入/输出数据样本就像拔牙一样。

问题的一部分可能是人们不知道如何轻松地为Spark-Dataframes创建一个MCVE。我认为有一个spark-dataframe版本的这个pandas问题作为一个可以链接的指南是有用的。

那么，如何创造一个好的、可复制的例子呢？

Answer 1

###提供可以轻松重新创建的小样本数据。至少，Poster应该在其数据帧上提供几行和几列，并提供可用于轻松创建数据帧的代码。我说的容易，是指剪贴。让它尽可能小，以证明你的问题。

我有以下数据帧：

+-----+---+-----+----------+
|index|  X|label|      date|
+-----+---+-----+----------+
|    1|  1|    A|2017-01-01|
|    2|  3|    B|2017-01-02|
|    3|  5|    A|2017-01-03|
|    4|  7|    B|2017-01-04|
+-----+---+-----+----------+

可以使用以下代码创建：

df = sqlCtx.createDataFrame(
    [
        (1, 1, 'A', '2017-01-01'),
        (2, 3, 'B', '2017-01-02'),
        (3, 5, 'A', '2017-01-03'),
        (4, 7, 'B', '2017-01-04')
    ],
    ('index', 'X', 'label', 'date')
)

所需输出：

+-----+---+-----+----------+------------+
|index|  X|label|      date|is_divisible|
+-----+---+-----+----------+------------+
|    1|  1|    A|2017-01-01|         yes|
|    2|  3|    B|2017-01-02|         yes|
|    3|  5|    A|2017-01-03|         yes|
|    4|  7|    B|2017-01-04|          no|
+-----+---+-----+----------+------------+

###解释如何获得输出。详细解释如何获得所需的输出。它有助于展示一个算例。

例如，在第1行中，X=1，日期=2017-01-01。加上7天至今的收益率为2017-01-08。一个月中的某一天是8，因为8可以被1整除，所以答案是“是”。

from pyspark.sql import functions as f
df.withColumn("next_week", f.date_add("date", 7))

###包括版本、导入并使用语法突出显示

• 由Desertnaut撰写的此答案中的全部详细信息。

###对于性能调优公告，包括执行计划

null

null

• 务必先阅读如何询问和如何创建最小、完整和可验证的示例。
• 阅读上面链接的此问题的其他答案。
• 具有良好的描述性标题。
• 要有礼貌。SO上的人都是志愿者，请好好的问一下。