如何比较Datatricks中的2个Spark数据帧

Question

我有以下spark数据帧。一个来自文本文件，另一个来自Databricks中的Spark表：

尽管数据完全相同，但以下代码报告了差异。我希望df3为空：

table_df = spark.sql("select * from db.table1")
file_df = spark.read.format("csv").load("my_file.txt", header = False, delimiter = '|')
file_df = file_df.toPandas()
table_df = table_df.toPandas()
df3=table_df.eq(file_df)
print(df3.shape[0])

• 我需要在比较之前订购数据吗？-如果是，我该怎么做
• 我看不出上面的连接是在哪里完成的。它将如何匹配行？[ID]和[帐户]是主键
• 以上是比较2个数据帧的最佳方法吗

这是数据-其中[ID]和[帐户]是主键

Answer 1

我通常比较两个数据帧的方法是使用内部连接来查看计数是否匹配，或者使用相减来查看两个数据帧之间是否有任何不同

df1 = create_df(
    data=[
        ('Avery Bradley', 25.0, 7730337.0),
        ('Jae Crowder', 25.0, 6796117.0),
    ],
    schema = ['name', 'age', 'salary']
)
+-------------+----+---------+
|         name| age|   salary|
+-------------+----+---------+
|Avery Bradley|25.0|7730337.0| <<< 25
|  Jae Crowder|25.0|6796117.0|
+-------------+----+---------+

df2 = create_df(
    data=[
        ('Avery Bradley', 24.0, 7730337.0),
        ('Jae Crowder', 25.0, 6796117.0),
    ],
    schema = ['name', 'age', 'salary']
)
+-------------+----+---------+
|         name| age|   salary|
+-------------+----+---------+
|Avery Bradley|24.0|7730337.0| <<< 24
|  Jae Crowder|25.0|6796117.0|
+-------------+----+---------+

# Solution #1
df1.subtract(df2).show()
+-------------+----+---------+
|         name| age|   salary|
+-------------+----+---------+
|Avery Bradley|25.0|7730337.0|
+-------------+----+---------+

# Solution #2
df1.join(df2, on=df1.columns).count()
# 1 <<< while df1.count() = 2