（Python）我如何应用异步在而循环与累加器？

Question

我有一段代码，可以很好地将API请求中的数据提取到特定站点。问题是，该网站只给了我50个对象的限制，每次调用，我必须作出多个调用。因此，完成抓取工作花费了我太长的时间（有时我不得不等待近20分钟）。这是我的密码：

import concurrent.futures
import requests

supply = 3000
offset = 0

token_ids = []
while offset < supply:
   url = "url_1" + str(offset)
   response = requests.request("GET", url)
   a = response.json()
   assets = a["assets"]

   def get_token_ids(an):
       if str(an['sell_orders']) == 'None' and str(an['last_sale']) == 'None' and str(an['num_sales']) == '0':
       token_ids.append(str(an['token_id']))


    with concurrent.futures.ThreadPoolExecutor() as executor:
        results = [executor.submit(get_token_ids, asset) for asset in assets]

    offset += 50

print(token_ids)

问题是代码会一直运行，并等待所有操作完成后再发出另一个请求。我正在考虑一种改进，即当发送请求时，添加偏移量值，循环处理另一个请求，因此我不必等待。我不知道如何做到这一点，我学习了“asyncio”，但这对我来说仍然是一个挑战。有人能帮我吗？

Answer 1

问题是请求不是异步代码，所以它的每个网络调用都会阻塞循环，直到完成。

https://docs.python-requests.org/en/latest/user/advanced/#blocking-or-non-blocking

因此，最好尝试异步库，例如aiohttp：

https://github.com/aio-libs/aiohttp