从列表PySpark的列表创建单行数据框
我有这样的数据data = [[1.1, 1.2], [1.3, 1.4], [1.5, 1.6]]我想创建一个PySpark数据框
我已经用过
dataframe = SQLContext.createDataFrame(data, ['features'])
但我总是得到
+--------+---+
|features| _2|
+--------+---+
| 1.1|1.2|
| 1.3|1.4|
| 1.5|1.6|
+--------+---+
我如何获得如下所示的结果？
+----------+
|features |
+----------+
|[1.1, 1.2]|
|[1.3, 1.4]|
|[1.5, 1.6]|
+----------+
问题答案：
我发现将参数createDataFrame()视为元组列表很有用，其中列表中的每个条目对应于DataFrame中的一行，而元组的每个元素对应于一列。
您可以通过将列表中的每个元素设为元组来获得所需的输出：
data = [([1.1, 1.2],), ([1.3, 1.4],), ([1.5, 1.6],)]
dataframe = sqlCtx.createDataFrame(data, ['features'])
dataframe.show()
#+----------+
#| features|
#+----------+
#|[1.1, 1.2]|
#|[1.3, 1.4]|
#|[1.5, 1.6]|
#+----------+
或者，如果更改源很麻烦，则可以等效地执行以下操作：
data = [[1.1, 1.2], [1.3, 1.4], [1.5, 1.6]]
dataframe = sqlCtx.createDataFrame(map(lambda x: (x, ), data), ['features'])
dataframe.show()
#+----------+
#| features|
#+----------+
#|[1.1, 1.2]|
#|[1.3, 1.4]|
#|[1.5, 1.6]|
#+----------+
-
我试图弄清楚如何通过使用与哥伦布（）函数并在pySpark中的cp_codeset列（）函数中调用udf来动态地为列表中的每个项目创建列（在这种情况下为列表）。下面是我写的代码，但它给了我一个错误。 另一种选择是手动执行它，但在这种情况下，我必须编写相同的udf函数并使用养分（）函数调用它75次（这是cp_codeset["col_names"]的大小） 下面是我的两个数据帧，我正在尝试获得结果如
-
问题内容： 这个问题已经在这里有了答案 ： 9年前关闭。 我有两个清单： 我需要从这些列表中创建一个元组列表，如下所示： 我尝试这样做： 但导致： 即x中每个元素与y中每个元素的元组列表…什么是我想做的正确方法？谢谢… 编辑： 在编辑之前提到的其他两个重复是我的错，我将其缩进另一个for循环中是错误的… 问题答案： 使用内置函数： 在Python 3中： 在Python 2中：
-
我有一个列表，我想创建一个名为的扩展。 我不想覆盖，因此不能使用append、extend或insert。我想知道是否有一个快速的方法来完成这项工作（比使用理解列表或Deep.copy更快）
-
我有一个从Excel文档导入的数据框，如下所示： 我希望能够返回列1的内容作为一个列表，这样我就可以运行一个for循环，并为每个集群创建一个Excel工作表。 是否也可以将整列或整行的内容返回到列表中？例如
-
问题内容： 我正在尝试从JSON创建嵌套的UL。我能够遍历并从对象中获取数据，但是在构建嵌套UL时遇到了麻烦。我认为’.append’方法放置在错误的位置。生成的LI都分组在一起。我如何创建一个循环（或者也可以用另一种方法）来构建带有正确嵌套的子菜单LI的UL？我曾尝试使用其他类似的帖子来解决我的问题，但是我的数据和代码似乎没有任何意义。对此有些不解之举- 我尝试了几种方法来创建此动态列表，但到目
-
我有这样的df： 如何将转换为元组列表并分配给变量？然后创建一个只有col4的数组并赋值给变量？ 示例最终结果：