当前位置: 首页 > 知识库问答 >
问题:

使列中的重复项变细

程冥夜
2023-03-14

我可以消除多个值I Column_3、Column_4吗

+--------+--------+--------+--------+
|Column_1|Column_2|Column_3|Column_4|
+--------+--------+--------+--------+
|       1|       x|     abc|     www|
|       1|       x|     abc|     sdf|
|       1|       x|     abc|     xyz|
|       1|       x|     def|     www|
|       1|       x|     def|     sdf|
|       1|       x|     def|     xyz|
+--------+--------+--------+--------+

预期产出

+--------+--------+--------+--------+
|Column_1|Column_2|Column_3|Column_4|
+--------+--------+--------+--------+
|       1|       x|     abc|     www|
|       1|       x|     def|     sdf|
|       1|       x|    null|     xyz|
+--------+--------+--------+--------+

共有1个答案

琴元凯
2023-03-14

使用df.dropduplicates(Column_3、Column_4)

此外,从基于RDD/Spark数据帧中的特定列的行中移除重复项

 类似资料:
  • 问题内容: 编写一个程序来检查列表中是否有重复项,如果删除了重复项,则将其删除,并返回一个包含未重复项/已删除项的新列表。这就是我所拥有的,但老实说我不知道​​该怎么办。 问题答案: 获取唯一项目集合的常用方法是使用。集是不同对象的无序集合。要从任何迭代创建集合,只需将其传递给内置函数即可。如果以后再次需要真实列表,则可以类似地将集合传递给函数。 以下示例应涵盖你尝试做的所有事情: 从示例结果中可

  • 问题内容: 我正在使用JPA 2 + Hibernate 4.2.6进行Java项目,并且出现了奇怪的现象。 在我的模型中,我有两个相关实体:和 这非常有效:与某个特定对象相关的所有都已正确加载。 但是现在我需要将collecton 的tipe 从更改为。我更改了类型并再次运行了该应用程序,现在在…中出现了多个重复项,为什么可能呢?我知道允许重复,但是我的数据库中没有重复的记录,那么为什么要得到这

  • 问题内容: 我有一个对象列表,并且有一个充满记录的数据库表。我的对象列表具有标题属性,我想从列表中删除所有具有重复标题的对象(保留原始对象)。 然后,我要检查我的对象列表是否在数据库中有任何记录的重复项,如果是,请在将它们添加到数据库之前从列表中删除这些项目。 我已经看到了从这样的列表中删除重复项的解决方案:,但是我不确定如何使用对象列表来做到这一点? 我也需要维护对象列表的顺序。我也在想,也许我

  • 问题内容: 我在Python中有一个列表列表: 我想从中删除重复的元素。如果这是正常列表,而不是我可以使用的列表set。但不幸的是,该列表不可散列,因此无法建立一组列表。只有元组。因此,我可以将所有列表转换为元组,然后使用set并返回列表。但这不是很快。 如何以最有效的方式做到这一点? 上面的结果应为: 我不在乎保留订单。 注意:这个问题很相似,但不是我所需要的。搜索了SO,但没有找到确切的重复项

  • 我下面有一个类,想删除包含同名的重复人,如何使用Java8 Lambda,预计列表包含下面的p1、p3。

  • 实际上,我知道如何减少重复的,或者将分配给,但我有一个不同的问题。如何在Java8中使用stream或者可能是来解决以下智能方式的问题? 假设列表中有一个对象