将多个列的值组合成一个Pyspark Dataframe[重复]
+------------------+--------------+-------------+-------------+---
|id |fields_0_type|fields_0_price|fields_1_type|fields_1_price|
+------------------+-----+--------+-------------+----------+
|1234| Return |45 |New |50 |
+--------------+----------+--------------------+------------+
+--------------------------- +------------------------------+
|id |type | price
+---------------------------+------------------------------+
|1234 |Return,Upgrade |45,50
谢谢，有用。但是我有什么办法可以去掉多余的“,”吗？这是由于列中存在空白值造成的。有没有一种方法可以不接受那些有空白值的列？它现在显示的是：
+------------------------------------------------------------------+
|type |
+------------------------------------------------------------------+
|New,New,New,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, |
|New,New,Sale,Sale,New,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,|
+------------------------------------------------------------------+
我多么想要它：
+------------------------------------------------------------------+
|type |
+------------------------------------------------------------------+
|New,New,New |
|New,New,Sale,Sale,New|
+------------------------------------------------------------------+
共有1个答案
强制转换数组中的所有列，然后使用CONCAT_WS函数。
示例:
df.show()
#+----+-------------+-------------+-------------+
#| id|fields_0_type|fields_1_type|fields_2_type|
#+----+-------------+-------------+-------------+
#|1234| a| b| c|
#+----+-------------+-------------+-------------+
columns=df.columns
columns.remove('id')
df.withColumn("type",concat_ws(",",array(*columns))).drop(*columns).show()
#+----+-----+
#| id| type|
#+----+-----+
#|1234|a,b,c|
#+----+-----+
更新：
df.show()
#+----+-------------+--------------+-------------+--------------+
#| id|fields_0_type|fields_0_price|fields_1_type|fields_1_price|
#+----+-------------+--------------+-------------+--------------+
#|1234| a| 45| b| 50|
#+----+-------------+--------------+-------------+--------------+
type_cols=[f for f in df.columns if 'type' in f]
price_cols=[f for f in df.columns if 'price' in f]
df.withColumn("type",concat_ws(",",array(*type_cols))).withColumn("price",concat_ws(",",array(*price_cols))).\
drop(*type_cols,*price_cols).\
show()
#+----+----+-----+
#| id|type|price|
#+----+----+-----+
#|1234| a,b|45,50|
#+----+----+-----+
-
我用平面图附加通量，但如果我添加其他平面图，则只返回最后一个平面图。 我需要在通量上处理每个Mono函数，但我似乎无法让每个函数正确执行和返回。
-
生成字符串：
-
我试图像这样整合多个数组的数组 要接收此
-
问题内容： 我有一个这样的熊猫数据框： 我现在想做的是获取一个包含Column1和新columnA的新数据框。此columnA应该包含第2列-（to）n的所有值（其中n是从Column2到行尾的列数），如下所示： 我如何最好地解决这个问题？任何意见将是有益的。提前致谢！ 问题答案： 您可以按行调用pass ，然后将dtype转换为和： 在这里，我呼吁摆脱，但是我们需要再次强制转换为，这样我们才不会
-
问题内容： var arrObj = [{a:1, b:2},{c:3, d:4},{e:5, f:6}]; 如何将其合并为一个obj？ 问题答案： 如果您的环境支持，那么您可以像这样简洁地进行操作 ES5解决方案： 您可以使用这样的 此解决方案仅将的所有键及其值收集在中的每个对象中，最终将结果返回给我们。 这张支票 有必要确保我们在结果中不包括所有继承的可枚举属性。
-
我运行一个大型的minecraft服务器，minecraft服务器端是单线程的。一切都是在主游戏循环中完成的。如果Mojang使minecraft服务器端多线程化，minecraft服务器每年将节省200万美元，因为租用的硬件更少。 不管怎样，我听说过这些谣言和理论。我从来都无法用谷歌搜索并弄清楚。 有没有必要使用多核cpu，并将其转换为单核、单线程？ 我一直在猜测虚拟机管理程序软件将运行多线程，