多个子过程需要大量的时间来完成

Question

我有一个使用子流程模块的Popen运行的进程：

result = subprocess.Popen(['tesseract','mypic.png','myop'])
st = time()
while result.poll() is None:
    sleep(0.001)
en = time()

print('Took :'+str(en-st))

其结果是：

Took :0.44703030586242676

这里，调用tesseract来处理图像mypic。png（附件）并将OCR结果输出到myop。txt。

现在，我希望这在多个进程上发生，代表这个注释（或者直接看到这个），所以代码在这里：

lst = []
for i in range(4):
    lst.append(subprocess.Popen(['tesseract','mypic.png','myop'+str(i)]))

i=0
l = len(lst)
val = 0 
while(val!=(1<<l)-1):
    if(lst[i].poll() is None):
        print('Waiting for :'+str(i))
        sleep(0.01)
    else:
        temp = val
        val = val or (1<<(i))
        if(val!=temp):
            print('Completed for :'+temp)
    i = (i+1) %l

这段代码所做的是调用4次tesseract，将流程对象保存在列表lst中，遍历所有这些对象，直到它们全部完成。下面给出了无限循环实现的说明。

这里的问题是后一个程序需要花费大量的时间来完成。它一直在使用poll（）函数等待进程完成，该函数为None，直到进程尚未完成。这不应该发生。应该只需要0.44秒多一点。不是10分钟！为什么会这样？

我通过深入pytesseract找到了这个特定的错误，当使用多重处理或悲情并行运行时，这需要很多时间。所以这是一个更大问题的缩小版本。我的问题可以在这里找到。

无限循环的解释：val最初为0。当第i个过程完成时，它与2^i进行OR运算。因此，如果有3个过程，那么如果第一个过程（i=0）完成，则2^0=1将使用val将其设为1。第二个和第三个过程完成后，val变为2^02^12^2=7。而2^3-1也是7。因此循环一直工作到val等于2^{number of processs}-1。

Answer 1

根据常见问题解答（我的重点）：

在处理一个页面时，Tesseract 4还使用多达四个CPU线程，因此对于单个页面，它将比Tesseract 3更快。

如果您的计算机只有两个CPU内核，那么运行四个线程将显著降低速度，最好使用一个线程，或者最多两个线程！使用单线程消除了多线程的计算开销，并且通过在每个CPU核上运行一个Tesseract进程，这也是处理大量图像的最佳解决方案。

使用环境变量OMP\u THREAD\u LIMIT设置最大线程数。

要禁用多线程，请使用OMP_THREAD_LIMIT=1。

因此，如果您希望同时运行多个tesseract进程，您可能希望减少（或尝试）OMP_线程限制。最佳值取决于计算机可以同时支持的线程数。

例如，在我的机器上：

import subprocess
import time
import os 

t = time.perf_counter()    
tasks = [('mypic.png', 'myop{}'.format(i)) for i in range(4)]
procs = [subprocess.Popen(['tesseract', infile, outfile], env={'OMP_THREAD_LIMIT':'1'})
         for infile, outfile in tasks]
for proc in procs:
    proc.wait()
print('{} s'.format(time.perf_counter()-t))

在0.220秒内完成，而没有env={'OMP_THREAD_LIMIT'：'1'}的相同代码通常需要3.1-5.1秒，运行之间有很多变化。

要使代码正常工作，请使用二进制位or运算符|而不是逻辑or运算符或：

val = val | (1 << (i))

例如，

import time
import subprocess
lst = []
for i in range(4):
    lst.append(subprocess.Popen(['tesseract', 'mypic.png', 'myop'+str(i)]))

i = 0
l = len(lst)
val = 0
counter = 0
while(val != (1 << l)-1):
    if(lst[i].poll() is None):
        time.sleep(0.001)
    else:
        temp = val
        val = val | (1 << (i))
        if(val != temp):
            print('Completed for : {}'.format(i))
    i = (i+1) % l

    counter += 1
print('{} iterations'.format(counter))

像这样打印输出

Completed for : 1
Completed for : 2
Completed for : 3
Completed for : 0
6121 iterations

请注意，循环仍然会迭代数千次，主要是当lst[i]。轮询（）返回无，但也是因为i=（i 1）%l可以多次重访相同的值。如果一次迭代需要0.001秒，那么6121次迭代将需要6.121秒。所以而循环很复杂，速度也不是很快。