asyncio网站抓取101：使用aiohttp获取多个网址

Question

在先前的问题中，一位作者aiohttp建议使用aiohttp的新asyncwith语法从中获取多个网址Python 3.5：

import aiohttp
import asyncio

async def fetch(session, url):
    with aiohttp.Timeout(10):
        async with session.get(url) as response:
            return await response.text()

async def fetch_all(session, urls, loop):
    results = await asyncio.wait([loop.create_task(fetch(session, url))
                                  for url in urls])
    return results

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    # breaks because of the first url
    urls = ['http://SDFKHSKHGKLHSKLJHGSDFKSJH.com',
            'http://google.com',
            'http://twitter.com']
    with aiohttp.ClientSession(loop=loop) as session:
        the_results = loop.run_until_complete(
            fetch_all(session, urls, loop))
        # do something with the the_results

但是，当其中一个session.get(url)请求中断时（如上所述，由于http://SDFKHSKHGKLHSKLJHGSDFKSJH.com导致错误），则错误不会得到处理，整个中断。

我就开始寻找插入有关的结果的测试session.get(url)，比如找地方了try ... except ...，或者一个if response.status != 200:，但我只是不理解如何与工作async with，await与各种对象。

由于async with仍然很新，因此没有很多示例。如果asyncio向导可以显示如何执行此操作，对许多人来说将非常有帮助。毕竟，大多数人想要测试的第一件事asyncio就是同时获取多个资源。

目标

我们的目标是我们可以检查the_results并快速查看：

• 此网址失败（以及原因：状态代码，也许是异常名称），或者
• 这个网址有效，这是一个有用的响应对象

Answer 1

我将使用gather代替wait，它可以将异常作为对象返回，而无需引发它们。然后，您可以检查每个结果（如果它是某些异常的实例）。

import aiohttp
import asyncio

async def fetch(session, url):
    with aiohttp.Timeout(10):
        async with session.get(url) as response:
            return await response.text()

async def fetch_all(session, urls, loop):
    results = await asyncio.gather(
        *[fetch(session, url) for url in urls],
        return_exceptions=True  # default is false, that would raise
    )

    # for testing purposes only
    # gather returns results in the order of coros
    for idx, url in enumerate(urls):
        print('{}: {}'.format(url, 'ERR' if isinstance(results[idx], Exception) else 'OK'))
    return results

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    # breaks because of the first url
    urls = [
        'http://SDFKHSKHGKLHSKLJHGSDFKSJH.com',
        'http://google.com',
        'http://twitter.com']
    with aiohttp.ClientSession(loop=loop) as session:
        the_results = loop.run_until_complete(
            fetch_all(session, urls, loop))

测试：

$python test.py 
http://SDFKHSKHGKLHSKLJHGSDFKSJH.com: ERR
http://google.com: OK
http://twitter.com: OK