加入两个pyspark数据帧，使用之间子句从一系列IP中查找IP详细信息

Question

我正在尝试为以下sql查询编写pyspark代码：

Create table table1 as
Select a.ip_address,a.ip_number,b.ip_start_int,b.ip_end_int,b.post_code_id,b.city,b.region_name,b.two_letter_country
from nk_ip_address_check a 
join 
ip_additional_pulse b
on a.ip_number between b.ip_start_int and b.ip_end_int

上面的查询在两个表之间进行连接，并使用带有“on”子句的“between”子句。我写了一个UDF，做了同样的事情，但是看起来非常慢。有没有什么方法可以用pyspark代码编写上面的查询，这样可以获得更好的性能。

下面是我正在使用的代码

def ip_mapping(ip_int):
    ip_qry = "select country_code,region_code,city_code,postal_code from de_pulse_ip_pqt where ip_start_int < {} and ip_end_int > {}".format(ip_int,ip_int)
    result = spark.sql(ip_qry)
    country_code = result.rdd.map(lambda x: x['country_code']).first()
    return country_code

ip_mapped = udf(ip_mapping, IntegerType())  
df_final = df.withColumn("country_code", ip_mapped("ip_int"))

这是非常低效的。此外，如果我有region_code，我必须通过更改函数ip_mapping的返回值来调用。

df_final = df.withColumn("region_code", ip_mapped("ip_int"))

Answer 1

您可以使用 between 定义连接条件，并在连接中利用它。下面的示例应该适合您。

join_condition = [nk_ip_address_check.ip_number.between(ip_additional_pulse.ip_start_int,ip_additional_pulse.ip_end_int)]

nk_ip_address_check.alias('a')\
    .join(ip_additional_pulse.alias('b'),cond)\
    .selectExpr("a.ip_address",
                "a.ip_number",
                "b.ip_start_int",
                "b.ip_end_int",
                "b.post_code_id",
                "b.city",
                "b.region_name",
                "b.two_letter_country")

Answer 2

因此，对于DF中的每个IP，您在IP的另一个DF中执行搜索-

简单的解决方案 -

无论如何，您应该对每个 IP 执行一次操作，并返回特定 IP 的所有 GeoIP 数据。

您的ip_mapping函数应返回项目列表（例如：（country_code，city_code，region_code））

您的UDF应该使用数组模式，UDF的结果将是多列输出（请参见https://stackoverflow.com/a/35323680/5088142更多信息）