将聚合列添加到Spark DataFrame
| id | value | bin |
|----+-------+-----|
| 1 | 3.4 | 2 |
| 2 | 2.6 | 1 |
| 3 | 1.8 | 1 |
| 4 | 9.6 | 2 |
| id | value | bin | f_value |
|----+-------+-----+---------------|
| 1 | 3.4 | 2 | f([3.4, 9.6]) |
| 2 | 2.6 | 1 | f([2.6, 1.8]) |
| 3 | 1.8 | 1 | f([2.6, 1.8]) |
| 4 | 9.6 | 2 | f([3.4, 9.6]) |
共有1个答案
下面的代码没有经过测试，只是一个想法。
在Hive中，可以使用collect_list函数这样做。
val newDF = sqlContext.sql(
"select bin, collect_list() from aboveDF group by bin")
下一个joinabovedf和newdf在bin上。
-
问题内容： CREATE TABLE logistics ( id int primary key, campaign VARCHAR(255), event_type VARCHAR (255), date_offered VARCHAR (255), date_ordered DATE, date_delivered DATE, date_recorded DATE, date_complet
-
问题内容： 我使用SQLAlchemy制作了一个表，却忘记添加列。我基本上想这样做： 这是什么语法？我在文档中找不到它。 问题答案： 这称为数据库迁移（SQLAlchemy不支持即开即用的迁移）。您可以考虑使用sqlalchemy- migrate 在这种情况下提供帮助，也可以仅通过选择的数据库的命令行实用程序，
-
我只是试图将JComboBox添加到最后一列的所有行中。代码在下面。 当我运行这段代码时，它只在第3列显示true of false，而不是JComboBox？有人能找出问题所在吗？非常感谢
-
问题内容： 与此问题类似，如何将空列添加到数据框？，我想知道向DataFrame添加一列空列表的最佳方法。 我想要做的基本上是初始化一列，然后遍历行以处理其中的一些行，然后在此新列中添加填充列表以替换初始化的值。 例如，如果下面是我的初始DataFrame： 然后，我最终希望得到这样的结果，其中每一行都经过单独处理（显示了示例结果）： 当然，如果我尝试像使用其他任何常量一样进行初始化，它会认为我正
-
问题内容： 为什么下面 不行？只是为了学习而玩弄泛型，我希望我能够在其中插入任何扩展Collection的内容，但会出现此错误： 问题答案： 您已声明是的扩展名。但是根据Java编译器，它可以是 任何 扩展的元素，即。因此，出于这个原因，它必须禁止采用通用类型参数的操作。它不能让你的加入到这可能是。 尝试删除通配符： 这应该工作，因为你可以肯定是一个添加到的。
-
我的设置是spring boot cloud，使用netflix library，我设法让Turbine从一个服务中聚合Hystrix度量。然而，当我添加更多的服务时，我看不到它们。 这是我的设置（也上传到github中，网址是：Project On github 服务2： 优惠券服务： 尤里卡应用程序服务：