当前位置: 首页 > 知识库问答 >
问题:

删除Spark DataFrame的第一行

欧阳骏俊
2023-03-14
rawData.drop(1)

删除第一个元素最简单的方法是什么?

共有1个答案

唐增
2023-03-14

为了回答这个问题,我们首先必须澄清DataFrame的第一个元素到底是什么,因为我们不是在讨论放置在单个机器上的有序集合,而是在处理分区之间没有特定顺序的分布式集合,所以答案并不明显。

如果您希望从每个可以使用的分区中删除第一个元素:

df.mapPartitions(iterator => iterator.drop(1))

如果要从第一个分区中删除第一个元素,可以使用:

val rdd = df.rdd.mapPartitionsWithIndex{
  case (index, iterator) => if(index==0) iterator.drop(1) else iterator
}
sqlContext.createDataFrame(rdd, df.schema)
 类似资料:
  • 好家伙们,我有一个Web应用程序,在从PrimeFaces Showcase实现了DataTable之后,我意识到通过点击remove a line,它总是会删除DataTable中的第一行,需要一点帮助。 我的DataTable代码: private ArrayList consultasTemp=new ArrayList(); 详细信息视频:在此输入链接描述

  • 问题内容: 我一直在网上搜索,但没有找到任何好的解决方案。 这是我的文本文件: 我要删除的是第一行(这意味着将第二行用作第一行,而不用空格填充第一行)。 有人可以帮我吗? 问题答案: 假设您有足够的内存来将所有内容保存在内存中: 我们可能会更喜欢,打开文件,阅读,然后找回开始,消除第二个,但这确实足够了。

  • 问题内容: 我想删除字符串的第一个字符。 例如,我的字符串以a开头,而我只想删除它。字符串中有几次不应删除。 我正在用Python编写代码。 问题答案: python 2.x python 3.x 两张画

  • 问题内容: 是否可以防止删除PostgreSQL端表中的第一行? 我有一个类别表,我想防止删除默认类别,因为它可能会破坏应用程序。当然,我可以轻松地在应用程序代码中执行此操作,但是在数据库中执行此操作会更好。 我认为这与delete语句的规则有关,但是我找不到文档中与我的问题遥遥相望的任何东西。 问题答案: 我看到的最好的方法是在此表上创建一个删除触发器。基本上,您必须编写一个存储过程来确保该“默

  • 我正在为我的Data Structures类编写一个项目,该项目要求我编写一个类来实现INT的链接列表。 为节点使用内部类 包括以下方法 编写一个测试程序,使您能够以任意顺序使用所需的任何数据测试所有方法 我必须创建一个名为“public int deleteFromFront()”的方法。此方法旨在“删除列表前面的节点,并返回其中的int,如果列表为空,则返回null。”下面是我的代码。然而,当

  • 问题内容: 我犯了一个错误,并且有多余的重复项。 我有一个包含4个关键字段的表。,,,。 是自动递增和主键。 的组合,而应该是唯一的,我有我之前创建唯一索引来删除重复的行。有些行有一个重复项,有些行有很多重复项。 向我显示了我需要处理的重复值。但是现在我不知道如何保留一个并删除每个重复集的其余部分。 问题答案: 备份数据,然后… MySQL在DELETE语句中支持JOIN。如果要保留第一个重复项: