Python：运行Slooow的程序

Question

我有一个问题，我的熊猫数据分析运行非常缓慢，不知道是否有人可以帮助请。

如果一个帧中的IP地址是另一个帧中网络的一部分，我将尝试比较两个数据帧：

• VFFrame包含10列，4798行：'CIDR'列包含网络
AssetFrame包含3368列，115816行：IPv4s包含在CIDR中匹配的IP地址（因为IPv4s可以有1到3个可能的IP地址，我不得不将其拆分并清除它们）

我正在将另外7列添加到AssetFrame，以便在匹配后获取新值。

for index, row in AssetFrame.iterrows():
    IPstore = AssetFrame.loc[index, 'ipv4s'].split(',')
    
    for index, row in VFFrame.iterrows():
        net = ipaddress.IPv4Network(VFFrame.loc[index, 'CIDR'])
    
        for i in range(len(IPstore)):
            IPstore[i] = IPstore[i].strip()
            IP = ipaddress.IPv4Address(IPstore[i])
        
            if IP in net:
                row = [IP, net]       # Used to check list of matches to export as CSV,
                TheList.append(row)   # to check my assumption below is correct.

                # All IPs will be in the same network 'CIDR' or there will be no match
                # The columns have already been added to the AssetFrame ready to take the new values
                AssetFrame.loc[index, 'comment'] = VFFrame.loc[index, 'comment']
                AssetFrame.loc[index, 'country'] = VFFrame.loc[index, 'country']
                AssetFrame.loc[index, 'city'] = VFFrame.loc[index, 'city']
                AssetFrame.loc[index, 'site-name'] = VFFrame.loc[index, 'site-name']
                AssetFrame.loc[index, 'site-id'] = VFFrame.loc[index, 'site-id']
                AssetFrame.loc[index, 'vf-device'] = VFFrame.loc[index, 'vf-device']
                AssetFrame.loc[index, 'vlan'] = VFFrame.loc[index, 'vlan']



AssetFrame:
    id            ipv4s             fqdn
0   b564a4        192.168.20.4      [e-mail]
1   e454a4        192.168.20.74     [e-mail]
2   a454a4        192.168.20.84     [e-mail]

VFFrame:
    subnet          mask                CIDR                Comment         vlan
0   192.168.20.0    255.255.255.224     192.168.20.0/26     Blah Blah       101
1   192.168.20.64   255.255.255.240     192.168.20.64/28    Ditto Blah      201

Result Should be:
AssetFrame:
    id        ipv4s             fqdn                    Comment         vlan
0   b564a4    192.168.20.4      [e-mail]    Blah Blah       101
1   e454a4    192.168.20.74     [e-mail]    Ditto Blah      201
2   a454a4    192.168.20.84     [e-mail]   No Match        No Match

数据帧和所需输出的示例：

Answer 1

“分而治之”是你的朋友。首先，我们有O（n³）的复杂性，这不是什么大问题。在这些情况下，第一步是了解时间在哪里损失，我可以猜出原因。loc是瓶颈。但是为了清楚的分析，我建议使用一个执行工具。我编写了perf_工具，可以指导您找到解决方案：

一些命中率

>

内部循环做标量赋值时，你可以做矢量模式。AssetFrame.loc非常昂贵，调用次数太多。

中间循环再次对每个记录进行阐述，这可以使用掩码在矢量模式下完成

在每一行上再次顶部循环iter。

在DataFrames之间执行一次合并操作时，可能会删除Top和Media循环。