python样板管挂起并带有多个处理

Question

我试图运行boilertube与Python多重处理。这样做可以解析来自多个源的RSS提要。问题是它在处理一些链接后挂在其中一个线程中。如果我删除池并在循环中运行，整个流程就会工作。

这是我的多处理代码：

proc_pool = Pool(processes=4)
for each_link in data:
    proc_pool.apply_async(process_link_for_feeds, args=(each_link, ), callback=store_results_to_db)
proc_pool.close()
proc_pool.join()

这是在process_link_for_feeds（）中调用的boilertube代码：

def parse_using_bp(in_url):
    extracted_html = ""
    if ContentParser.url_skip_p.match(in_url):
        return extracted_html
    try:
        extractor = Extractor(extractor='ArticleExtractor', url=in_url)
        extracted_html = extractor.getHTML()
        del extractor
    except BaseException as e:
        print "Something's wrong at Boilerpipe -->", in_url, "-->", e
        extracted_html = ""
    finally:
        return extracted_html

我不知道它为什么会挂起来。proc\u池code中是否有错误？

Answer 1

你能试试穿线吗？多处理基本上适用于CPU受限的情况。此外，boilerpipe已经在使用线程时提供了保护，这表明它在多处理中也可能需要保护。

如果您真的需要mp，我将尝试找出如何修补样板管。

下面是我猜想的使用线程的替代品。它使用多处理。水塘线程池（这是一个“假”多处理池）。唯一的变化来自Pool（..） 到多处理。水塘线程池（…） 问题在于，我不确定boilerpipe多线程测试是否会检测到线程池（）具有activeCount（）

import multiprocessing
from multiprocessing.pool import ThreadPool  # hidden ThreadPool class

# ...
proc_pool = ThreadPool(processes=4)  # this is the only difference
for each_link in data:
    proc_pool.apply_async(process_link_for_feeds, args=(each_link, ), callback=store_results_to_db)
proc_pool.close()
proc_pool.join()