在Python上使用multiprocess with API请求和multiple for循环

Question

我正在访问和API从巴西获得具体的公共预算。它需要定义年、月和页。我成功地使用for循环来获取我想要的2020年的信息，通过月{j}和页(str+1)进行循环。

我如何并行化以下内容（如果我可以将其转换为def函数并使用map就更好了）？

list1 = []

for i in tqdm(range(x)):
        for j in tqdm(range(1,13)):
            url = f'https://gatewayapi.prodam.sp.gov.br:443/financas/orcamento/sof/v3.0.1/empenhos?anoEmpenho=2020&mesEmpenho={j}&codOrgao=84&numPagina=' + str(i+1)
            headers = {"Accept": "application/json", "Authorization": "Bearer xxxxxxxxxxxxxx"}
            response = requests.get(url, headers = headers)
            list1.append(response.json())

df_final = pd.DataFrame()
for i in range(len(list1)):
    df_temp = pd.DataFrame(list1[i]['lstEmpenhos'])
    df_final = df_final.append(df_temp)

df_final

Answer 1

一种想法可能是将代码放在嵌套的for循环中,并将其分解为一个函数：

def get_data(pair):
    i, j = pair
    url = f'https://gatewayapi.prodam.sp.gov.br:443/financas/orcamento/sof/v3.0.1/empenhos?anoEmpenho=2020&mesEmpenho={j}&codOrgao=84&numPagina=' + str(i+1)
    headers = {"Accept": "application/json", "Authorization": "Bearer xxxxxxxxxxxxxx"}
    response = requests.get(url, headers = headers)
    return response.json()

然后，您可以使用ThreadPoolExecutor之类的东西，并将其与您的值进行映射。你可以做得更好，但非常天真：

list1 = []
parameters = []

pool = ThreadPoolExecutor(workers=4)

for i in tqdm(range(x)):
    for j in tqdm(range(1,12)):
        parameters.append((i, j))

list1 = pool.map(get_data, parameters)