当前位置: 首页 > 工具软件 > LAM/MPI > 使用案例 >

MPI & OpenMP

董元徽
2023-12-01
    MPI(Message Passing Interface,消息传递接口,MPI是一个标准,有不同的具体实现,LAM/MPI和MPICH是目前使用最为广泛的免费MPI实现版本,它们都支持MPI 1标准的全部内容,同时还支持部分MPI 2标准)是多主机联网协作进行并行计算的工具,当然也可以用于单主机上多核/多CPU的并行计算,不过效率低。它能协调多台主机间的并行计算,因此并行规模上的可伸缩性很强,能在从个人电脑到世界TOP10的超级计算机上使用。缺点是使用进程间通信的方式协调并行计算,这导致并行效率较低、内存开销大、不直观、编程麻烦。
·发展的两个阶段
–MPI[1] 1.1: 1995
  MPICH:是MPI最流行的非专利实现,由Argonne国家实验室和密西西比州立大学联合开发,具有更好的可移植性.
–MPI 1.2~2.0:动态进程, 并行 I/O, 支持F90和C++(1997).

    MPI已在IBM PC机上、MS Windows上、所有主要的Unix工作站上和所有主流的并行机上得到实现。使用MPI作消息传递的C或Fortran并行程序可不加改变地运行在IBM PC、MS Windows、Unix工作站、以及各种并行机上。


    OpenMP是针对单主机上多核/多CPU并行计算而设计的工具,换句话说,OpenMP更适合单台计算机共享内存结构上的并行计算。由于使用线程间共享内存的方式协调并行计算,它在多核/多CPU结构上的效率很高、内存开销小、编程语句简洁直观,因此编程容易、编译器实现也容易(现在最新版的C、C++、Fortran编译器基本上都内置OpenMP支持)。不过OpenMP最大的缺点是只能在单台主机上工作,不能用于多台主机间的并行计算!

    如果要多主机联网使用OpenMP(比如在超级计算机上),那必须有额外的工具帮助,比如 MPI + OpenMP 混合编程。或者是将多主机虚拟成一个共享内存环境(Intel有这样的平台),但这么做效率还不如混合编程,唯一的好处是编程人员可以不必额外学习MPI编程。


OpenMP和MPI是并行编程的两个手段,对比如下:

OpenMP: 线程级(并行粒度);共享存储;隐式(数据分配方式);可扩展性差;
MPI: 进程级;分布式存储;显式;可扩展性好。
OpenMP采用共享存储,意味着它只适应于SMP,DSM机器,不适合于集群。MPI虽适合于各种机器,但它的编程模型复杂:需要分析及划分应用程序问题,并将问题映射到分布式进程集合;需要解决通信延迟大和负载不平衡两个主要问题;调试MPI程序麻烦;MPI程序可靠性差,一个进程出问题,整个程序将错误。

每次听我们部门并行组的人做报告,总是听到他们在攻克通信延迟大和负载不平衡的问题。一种并行算法的好坏就看它有没有很好的解决这两个问题。



与OpenMP,MPI相比,MapReduce的优势何在呢?
自动并行;
容错;
MapReduce学习门槛低。
附:
SMP(Symmetric multi-processing),共享总线与内存,单一操作系统映象。在软件上是可扩展的,而硬件上不能。

DSM(distributed shared memory),SMP的扩展。物理上分布存储;单一内存地址空间;非一致内存访问;单一操作系统映象。


OpenMP在科学计算方面居于统治地位,对于多线程方面(包括多核)有很大的优势。 
OpenMP+MPI的组合方式在集群方面有很成熟的案例。
摘自  http://zhangyu8374.javaeye.com/blog/86305
常采用mpi而不用openmp的原因是:openmp扩展性差,对机器要求高,要想运算的快点,机器就要很贵。
一般双核,用openmp。因为mpi用于分布式机器之间数据传输,单机内用mpi的时间开销大于OpenMP。
在一台机器中有很多CPU共享其中的内存条,叫共享内存并行机(如今天的双核CPU台式机),它适合OpenMP,而把这样的机器用专用高速网连接就形成了分布式内存并行机,它适合于MPI。此时,可以混合OpenMP,能提高一定的运行速度。

 类似资料: