multiprocessing.pool.MaybeEncodingError：'TypeError（“无法序列化'_io.BufferedReader'对象”，）'

Question

为什么下面的代码只适用于multiprocessing.dummy而不是简单的multiprocessing。

import urllib.request
#from multiprocessing.dummy import Pool #this works
from multiprocessing import Pool

urls = ['http://www.python.org', 'http://www.yahoo.com','http://www.scala.org', 'http://www.google.com']

if __name__ == '__main__':
    with Pool(5) as p:
        results = p.map(urllib.request.urlopen, urls)

错误：

Traceback (most recent call last):
  File "urlthreads.py", line 31, in <module>
    results = p.map(urllib.request.urlopen, urls)
  File "C:\Users\patri\Anaconda3\lib\multiprocessing\pool.py", line 268, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "C:\Users\patri\Anaconda3\lib\multiprocessing\pool.py", line 657, in get
    raise self._value
multiprocessing.pool.MaybeEncodingError: Error sending result: '[<http.client.HTTPResponse object at 0x0000016AEF204198>]'. Reason: 'TypeError("cannot serialize '_io.BufferedReader' object")'

缺少什么以便它可以在没有“虚拟”的情况下工作？

Answer 1

在http.client.HTTPResponse你回来-objecturlopen()有一个_io.BufferedReader附加-
object，这个对象不能腌制。

pickle.dumps(urllib.request.urlopen('http://www.python.org').fp)
Traceback (most recent call last):
...
    pickle.dumps(urllib.request.urlopen('http://www.python.org').fp)
TypeError: cannot serialize '_io.BufferedReader' object

multiprocessing.Pool将需要对结果进行腌制（序列化）以将其发送回父进程，这在这里失败。由于dummy使用线程而不是进程，因此不会出现酸洗，因为同一进程中的线程自然会共享其内存。

一个通用的解决方案TypeError是：

1. 读出缓冲区并保存内容（如果需要）
2. '_io.BufferedReader'从您要腌制的对象中删除对的引用

在你的情况，要求.read()在http.client.HTTPResponse将清空并删除缓存，所以功能的响应转换成一些与pickle可以简单地这样做：

def read_buffer(response):
    response.text = response.read()
    return response

例：

r = urllib.request.urlopen('http://www.python.org')
r = read_buffer(r)
pickle.dumps(r)
# Out: b'\x80\x03chttp.client\nHTTPResponse\...

在考虑使用这种方法之前，请确保您确实要使用多处理而不是多线程。对于像这里这样的受I /
O约束的任务，多线程就足够了，因为无论如何大多数时间都花在等待响应上（不需要cpu时间）。涉及到的多处理和IPC也引入了大量的开销。