Python Spark连接两个数据帧并填充列
我有两个数据帧需要以我正在努力的特定方式连接。
数据帧 1：
+--------------------+---------+----------------+
| asset_domain| eid| oid|
+--------------------+---------+----------------+
| test-domain...| 126656| 126656|
| nebraska.aaa.com| 335660| 335660|
| netflix.com| 460| 460|
+--------------------+---------+----------------+
数据框2：
+--------------------+--------------------+---------+--------------+----+----+------------+
| asset| asset_domain|dns_count| ip| ev|post|form_present|
+--------------------+--------------------+---------+--------------+----+----+------------+
| sub1.test-domain...| test-domain...| 6354| 11.11.111.111| 1| 1| null|
| netflix.com| netflix.com| 3836| 22.22.222.222|null|null| null|
+--------------------+--------------------+---------+--------------+----+----+------------+
期望结果：
+--------------------+---------+-------------+----+----+------------+---------+----------------+
| asset|dns_count| ip| ev|post|form_present| eid| oid|
+--------------------+---------+-------------+----+----+------------+---------+----------------+
| netflix.com| 3836|22.22.222.222|null|null| null| 460| 460|
| sub1.test-domain...| 5924|111.11.111.11| 1| 1| null| 126656| 126656|
| nebraska.aaa.com| null| null|null|null| null| 335660| 335660|
+--------------------+---------+-------------+----+----+------------+---------+----------------+
基本上-它应该在asset_domain上连接df1和df2，但是如果df2中不存在，那么生成的资产应该是df1中的asset_domain。
我尝试了 df = df2.join（df1， [“asset_domain”]， “right”）.drop（“asset_domain”），但这显然在资产列中留下了 null 以供 nebraska.aaa.com，因为它在 df2 中没有匹配的域。对于此特定情况，我如何将它们添加到资产列中？
共有2个答案
连接后，您可以使用isNull()函数
import pyspark.sql.functions as F
tst1 = sqlContext.createDataFrame([('netflix',1),('amazon',2)],schema=("asset_domain",'xtra1'))
tst2= sqlContext.createDataFrame([('netflix','yahoo',1),('amazon','yahoo',2),('flipkart',None,2)],schema=("asset_domain","asset",'xtra'))
tst_j = tst1.join(tst2,on='asset_domain',how='right')
#%%
tst_res = tst_j.withColumn("asset",F.when(F.col('asset').isNull(),F.col('asset_domain')).otherwise(F.col('asset')))
您可以在连接后使用合并功能创建资产列。
df2.join(df1, ["asset_domain"], "right").select(coalesce("asset","asset_domain").alias("asset"),"dns_count","ip","ev","post","form_present","eid","oid").orderBy("asset").show()
#+----------------+---------+-------------+----+----+------------+------+------+
#| asset|dns_count| ip| ev|post|form_present| eid| oid|
#+----------------+---------+-------------+----+----+------------+------+------+
#|nebraska.aaa.com| null| null|null|null| null|335660|335660|
#| netflix.com| 3836|22.22.222.222|null|null| None| 460| 460|
#|sub1.test-domain| 6354|11.11.111.111| 1| 1| null|126656|126656|
#+----------------+---------+-------------+----+----+------------+------+------+
-
假设我有两个数据帧，具有不同级别的信息，如下所示： 我想加入df1和df2，并将“值”信息传递给df2：一天中的每一小时都将获得“日”值。 预期产出：
-
我有两个火花数据帧。我想基于第二个更新第一个。 数据流1 df2 我想更新第一个数据帧（df1），如下所示 我不知道如何加入嵌套结构中的数据
-
我正在尝试将两个PySpark数据帧与仅位于其中一个上的列连接起来： 现在我想生成第三个数据帧。我想要像熊猫这样的东西: 这可能吗？
-
我需要将两个数据帧和一个接一个地连接起来，它们具有相同的行数（），而不考虑任何键。此函数类似于
-
我有两个包含GB数据的大型pyspark数据框df1和df2。第一个数据框中的列是id1，col1。第二个数据框中的列是id2，col2。数据框的行数相等。id1和id2的所有值都是唯一的。id1的所有值也正好对应一个值id2。 因为。前几个条目与df1和df2区域相同，如下所示 DF1： df2: 所以我需要连接键 id1 和 id2 上的两个数据帧。df = df1.join（df2， df1
-
我有两个数据帧和包含IP地址，我正在尝试将IP地址映射到地理位置信息，如经度和纬度，它们是中的列。 我运行它作为一个火花提交作业，但操作花了很长时间，即使只有不到2500行。 我的代码： 有没有其他方法可以加入这两张桌子？还是我做错了？