编写一个tornado协同程序，该程序也会生成正常值

Question

在Tornado中，我们可以使用coroutine decorator作为Python生成器灵活地编写一个异步函数，其中每个yield语句返回给调度器，最后的raise/return向调用者返回一个值。但是，有没有任何方法可以向调用者返回一系列值，其中穿插着异步调用？

例如，如何启用此同步功能：

def crawl_site_sync(rooturi):
    rootpage = fetch_page_sync(rooturi)
    links = extract_links(rootpage)
    for link in links:
        yield fetch_page_sync(link.uri)

…我可以这样称呼它：

for page in crawl_site_sync("http://example.com/page.html"):
    show_summary(page)

…进入Tornado中类似的异步函数？例如。：

@tornado.gen.coroutine
def crawl_site_async(rooturi):
    # Yield a future to the scheduler:
    rootpage = yield fetch_page_async(rooturi)
    links = extract_links(rootpage)
    for link in links:
        # Yield a future to the scheduler:
        sub_page = yield fetch_page_async(link.uri)
        # Yield a value to the caller:
        really_really_yield sub_page # ???

我该怎么称呼它呢？

for page in yield crawl_site_sync("http://example.com/page.html"):
    # This won't work, the yield won't return until the entire
    # coroutine has finished, and it won't give us an iterable.
    show_summary(page)

我可以想出一些方法来完成它，但是所有这些方法都涉及到改变调用站点和函数的程度，以至于它完全失去了异步版本看起来与同步版本非常相似的好处，并且它不再干净地组成。我觉得我一定错过了一个技巧。有没有办法同时使用Python生成器作为懒惰计算值的序列和龙卷风协程？

Answer 1

我会使用来自Toro的队列，它是为协同程序设计的，以便像这样进行协作。下面是一个简单的例子：

from tornado.ioloop import IOLoop
from tornado import gen
from tornado.httpclient import AsyncHTTPClient
from toro import Queue

q = Queue(maxsize=1)


@gen.coroutine
def consumer():
    item = yield q.get()
    while item:
        print item
        item = yield q.get()


@gen.coroutine
def producer():
    try:
        client = AsyncHTTPClient()
        for url in [
                'http://tornadoweb.org',
                'http://python.org',
                'http://readthedocs.org']:
            response = yield client.fetch(url)
            item = (url, len(response.body))
            yield q.put(item)

        # Done.
        q.put(None)
    except Exception:
        IOLoop.current().stop()
        raise

future = producer()
IOLoop.current().run_sync(consumer, timeout=20)

Toro的文档中有一个更详细的网络爬虫示例，如下所示：

https://toro.readthedocs.org/en/stable/examples/web_spider_example.html