熊猫的功能耗时太长

Question

我试图提取顶级URL并忽略路径。我使用的代码如下：

for row in Mexico['Page URL']:
    parsed_uri = urlparse( 'http://www.one.com.mx/furl/Conteúdo Raiz/Meu' )
    Mexico['SubDomain'] = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)

这个脚本已经运行了一个小时了。当我运行它时，它给出了以下警告：

/anaconda/lib/python3.6/site-packages/ipykernel_launcher.py:3: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy
  This is separate from the ipykernel package so we can avoid doing imports until

如果有人能给我一个更快的建议，我将不胜感激，也许是“警告”建议的方法

Answer 1

如果序列很长，则为序列的每一行调用一次Python函数可能会非常慢。加快这一速度的关键是将多个函数调用替换为（理想情况下）一个矢量化函数调用。

当使用Pandas时，这意味着根据矢量化的字符串函数重写Python函数（例如urlparse）。

由于urlparse是一个相当复杂的函数，因此重写urlparse将非常困难。但是，在您的情况下，我们有一个优势，就是知道我们关心的所有URL都以https://或http://开头。因此，我们不需要urlparse的全面通用性。我们也许可以使用一个更简单的规则：netloc是https://或http://后面的任何字符，直到字符串结束或下一个/，以先到者为准。如果这是真的，那么

Mexico['Page URL'].str.extract('(https?://[^/]+)', expand=False)

可以从整个系列Mexico['Page URL']中提取所有netloc，无需循环，也无需多次urlparse函数调用。当len（墨西哥）较大时，这将快得多。

例如

import pandas as pd

Mexico = pd.DataFrame({'Page URL':['http://www.one.com.mx/furl/Conteúdo Raiz/Meu',
                                   'https://www.one.com.mx/furl/Conteúdo Raiz/Meu']})

Mexico['SubDomain'] = Mexico['Page URL'].str.extract('(https?://[^/]+)', expand=False)
print(Mexico)

产量

                                        Page URL               SubDomain
0   http://www.one.com.mx/furl/Conteúdo Raiz/Meu   http://www.one.com.mx
1  https://www.one.com.mx/furl/Conteúdo Raiz/Meu  https://www.one.com.mx