如何更新一个DataFrame给另一个DataFrame与更新的值？

Question

我正在使用齐柏林飞艇0.6.2和火花2.0。

我尝试在循环中执行查询，但效果不是很好。

我需要循环一个数据帧的每一行，大约5000行，并执行一个查询，这将在另一个数据帧中增加一个值。

以下是我的尝试：

val t2 = time
t2.registerTempTable("t2")
u.collect().foreach{ r => 
println(r(0))
val c=r(1)
val start="\""+r(2)+"\""
val end="\""+r(3)+"\""
sql("INSERT INTO TABLE t2 SELECT time, recordings + "+c+" AS recordings FROM time WHERE time >= " + start + " AND time < " + end)
}

我试着从两个数据帧中提取一小部分，但仍然很慢。我觉得我做得不对。

知道如何快速更新数据帧吗？

Answer 1

我需要循环一个数据帧的每一行，大约5000行，并执行一个查询，这将在另一个数据帧中增加一个值。

我可以识别出u，时间和t2表格t2用于别名time，以便以后在INSERT查询中使用它。正当

PROTIP：我很高兴有他们的模式。

假设您有一个5000行的数据帧，名为df5k：

// it's a fake 5k = a mere 5 rows for the sake of simplicity
// I think `u` is your 5k table (that you unnecessarily `collect` to `foreach`)
val u = Seq(
  (0, 0, 0, 3),
  (1, 3, 4, 5),
  (2, 6, 6, 8),
  (3, 9, 9, 17)).toDF("id", "c", "start", "end")

// I think `t2` is an alias for `time` and you want to update `t2`
val time = Seq(
  (1, 10),
  (4, 40),
  (9, 90)).toDF("time", "recordings")

// this is the calculation of the new records
val new_t2 = u.join(time)
  .where('time >= 'start)
  .where('time < 'end)
  .withColumn("recordings + c", 'recordings + 'c)
  .select('time, $"recordings + c" as 'recordings)

// the following is an equivalent of INSERT INTO using Dataset API
val solution = time.union(new_t2)

注意：不是更新DataFrame，而是使用新值创建新的DataFrame。