处理相互通信(Processes Intercommunication)

优质
小牛编辑
134浏览
2023-12-01

流程互通是指流程之间的数据交换。 有必要在进程之间交换数据以开发并行应用程序。 下图显示了多个子进程之间同步的各种通信机制 -

互通

各种沟通机制

在本节中,我们将了解各种通信机制。 机制如下所述 -

Queues

队列可以与多进程程序一起使用。 multiprocessing模块的Queue类与Queue.Queue类相似。 因此,可以使用相同的API。 Multiprocessing .Queue为我们提供了一个线程和进程安全的FIFO(先进先出)进程之间的通信机制。

例子 (Example)

下面是一个简单的例子,它来自python官方文档的多处理,以理解Queue类的多处理的概念。

from multiprocessing import Process, Queue
import queue
import random
def f(q):
   q.put([42, None, 'hello'])
def main():
   q = Queue()
   p = Process(target = f, args = (q,))
   p.start()
   print (q.get())
if __name__ == '__main__':
   main()

输出 (Output)

[42, None, 'hello']

Pipes

它是一种数据结构,用于在多进程程序中的进程之间进行通信。 Pipe()函数返回一个由管道连接的连接对象,默认情况下是双工(双向)。 它以下列方式工作 -

  • 它返回一对连接对象,表示管道的两端。

  • 每个对象都有两个方法 - send()recv() ,以便在进程之间进行通信。

例子 (Example)

下面是一个简单的例子,它来自python官方文档的多处理,以理解多处理的Pipe()函数的概念。

from multiprocessing import Process, Pipe
def f(conn):
   conn.send([42, None, 'hello'])
   conn.close()
if __name__ == '__main__':
   parent_conn, child_conn = Pipe()
   p = Process(target = f, args = (child_conn,))
   p.start()
   print (parent_conn.recv())
   p.join()

输出 (Output)

[42, None, 'hello']

Manager

Manager是一类多处理模块,它提供了一种在所有用户之间协调共享信息的方法。 管理器对象控制服务器进程,该进程管理共享对象并允许其他进程操作它们。 换句话说,管理者提供了一种创建可在不同流程之间共享的数据的方法。 以下是经理对象的不同属性 -

  • 管理器的主要属性是控制管理共享对象的服务器进程。

  • 另一个重要属性是在任何进程修改它时更新所有共享对象。

例子 (Example)

下面是一个示例,它使用manager对象在服务器进程中创建列表记录,然后在该列表中添加新记录。

import multiprocessing
def print_records(records):
   for record in records:
      print("Name: {0}\nScore: {1}\n".format(record[0], record[1]))
def insert_record(record, records):
   records.append(record)
      print("A New record is added\n")
if __name__ == '__main__':
   with multiprocessing.Manager() as manager:
      records = manager.list([('Computers', 1), ('Histoty', 5), ('Hindi',9)])
      new_record = ('English', 3)
      p1 = multiprocessing.Process(target = insert_record, args = (new_record, records))
      p2 = multiprocessing.Process(target = print_records, args = (records,))
	  p1.start()
      p1.join()
      p2.start()
      p2.join()

输出 (Output)

A New record is added
Name: Computers
Score: 1
Name: Histoty
Score: 5
Name: Hindi
Score: 9
Name: English
Score: 3

管理器中命名空间的概念

Manager Class带有命名空间的概念,这是一种跨多个进程共享多个属性的快捷方法。 命名空间没有任何可以调用的公共方法,但它们具有可写属性。

例子 (Example)

以下Python脚本示例帮助我们利用名称空间在主进程和子进程之间共享数据 -

import multiprocessing
def Mng_NaSp(using_ns):
   using_ns.x +=5
   using_ns.y *= 10
if __name__ == '__main__':
   manager = multiprocessing.Manager()
   using_ns = manager.Namespace()
   using_ns.x = 1
   using_ns.y = 1
   print ('before', using_ns)
   p = multiprocessing.Process(target = Mng_NaSp, args = (using_ns,))
   p.start()
   p.join()
   print ('after', using_ns)

输出 (Output)

before Namespace(x = 1, y = 1)
after Namespace(x = 6, y = 10)

Ctypes-Array和Value

多处理模块提供Array和Value对象,用于将数据存储在共享内存映射中。 Array是从共享内存分配的ctypes数组, Value是从共享内存分配的ctypes对象。

为了使用,从多处理导入Process,Value,Array。

例子 (Example)

以下Python脚本是一个从python文档中获取的示例,它利用Ctypes Array和Value在进程之间共享一些数据。

def f(n, a):
   n.value = 3.1415927
   for i in range(len(a)):
   a[i] = -a[i]
if __name__ == '__main__':
   num = Value('d', 0.0)
   arr = Array('i', range(10))
   p = Process(target = f, args = (num, arr))
   p.start()
   p.join()
   print (num.value)
   print (arr[:])

输出 (Output)

3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]

Communicating Sequential Processes (CSP)

CSP用于说明系统与具有并发模型的其他系统的交互。 CSP是一个通过消息传递编写并发或程序的框架,因此它对描述并发性很有效。

Python library – PyCSP

为了实现CSP中的核心原语,Python有一个名为PyCSP的库。 它使实现非常简短和可读,因此可以非常容易地理解它。 以下是PyCSP的基本流程网络 -

PyCSP

在上面的PyCSP过程网络中,有两个过程 - 过程1和过程2.这些过程通过两个通道传递消息进行通信 - 通道1和通道2。

安装PyCSP

借助以下命令,我们可以安装Python库PyCSP -

pip install PyCSP

例子 (Example)

以下Python脚本是一个相互并行运行两个进程的简单示例。 它是在PyCSP python libabary的帮助下完成的 -

from pycsp.parallel import *
import time
@process
def P1():
   time.sleep(1)
   print('P1 exiting')
@process
def P2():
   time.sleep(1)
   print('P2 exiting')
def main():
   Parallel(P1(), P2())
   print('Terminating')
if __name__ == '__main__':
   main()

在上面的脚本中,创建了两个函数,即P1P2 ,然后使用@process进行修饰,以将它们转换为进程。

输出 (Output)

P2 exiting
P1 exiting
Terminating