使用 SWIG 包装 C MPI 程序

本文从本人简书博客同步过来

在上一篇中我们介绍了在 mpi4py 中包装和调用 C 语言 MPI 程序的方法。在实际应用中直接使用 Python/C API 编写 Python 扩展模块是比较麻烦的，要求对 Python/C API 非常熟悉才能很好地运用，更常用的做法是使用像 SWIG 这样的工具来包装 C/C++ 程序文件，下面我们介绍用 SWIG 包装 C 语言 MPI 程序以供 mpi4py 调用的方法。

SWIG (Simplified Wrapper and Interface Generator) 是一个包装和接口生成器工具，可以为C/C++程序构建生成各种脚本语言的调用接口，这样就可以通过脚本语言来直接调用C/C++编写的程序。使用 SWIG 包装 C/C++ 程序是比较简单的，只需要编写一个 .i 接口文件，在其中声明调用接口和完成所需的类型映射即可。如要了解更多，可参考完整的 SWIG 使用文档，此处我们只以以下简单的例子来展示用 SWIG 包装 C 语言 MPI 程序以供 mpi4py 调用的方法。

SWIG 的 .i 接口文件有点类似于 C/C++ 的头文件，最简单的包装 C 语言方法是直接将一段 C 程序代码放入 .i 接口文件的 %{ %} 之间，并在外面完成类型映射及声明要导出的函数接口。

我们以上一篇中用到的 C 语言函数 sayhello 为例，我们将此函数放入接口文件 helloworld.i 的 %{ %} 之间，并在下面声明其函数原型，因为其参数为一个 MPI_Comm 类型的通信子，还需要指明一个由 mpi4py 中的通信子到 MPI_Comm 类型的映射，这个映射在 mpi4py 软件中包含的 mpi4py.i 中定义，因此需要 include mpi4py/mpi4py.i。完整的接口文件如下：

/* helloworld.i */

%module helloworld

%{

#define MPICH_SKIP_MPICXX 1
#define OMPI_SKIP_MPICXX  1

#include <mpi.h>
#include <stdio.h>

void sayhello(MPI_Comm comm) {
  int size, rank;
  char pname[MPI_MAX_PROCESSOR_NAME]; int len;
  if (comm == MPI_COMM_NULL) {
    printf("You passed MPI_COMM_NULL !!!\n");
    return;
  }
  MPI_Comm_size(comm, &size);
  MPI_Comm_rank(comm, &rank);
  MPI_Get_processor_name(pname, &len);
  pname[len] = 0;
  printf("Hello, World! I am process %d of %d on %s.\n",
         rank, size, pname);
}

%}

%include mpi4py/mpi4py.i

%mpi4py_typemap(Comm, MPI_Comm);

void sayhello(MPI_Comm comm);

/*
 * Local Variables:
 * mode: C
 * End:
 */

使用 swig 工具和以上的接口文件就可以产生两个包装文件：helloworld_wrap.c 和 helloworld.py，命令如下（注意将其中的头文件路径改成你的系统中实际的路径）：

$ swig -python -I/path/to/python/lib/python2.7/site-packages/mpi4py/include -o helloworld_wrap.c helloworld.i

生成的 helloworld_wrap.c 文件是对 sayhello 函数的一个包装，而生成的 helloworld.py 中有如下语句：

...

import _helloworld

...

def sayhello(*args):
  return _helloworld.sayhello(*args)
sayhello = _helloworld.sayhello

由此可见我们还需要由 helloworld_wrap.c 编译出一个名称为 _helloworld.so 的扩展库才能被 Python 导入和使用，编译所用的命令同我们在上一篇中介绍的命令几乎一致，如下（注意将其中的头文件路径改成你的系统中实际的路径）：

$ mpicc -I/path/to/python/include/python2.7 -I/path/to/python/lib/python2.7/site-packages/mpi4py/include -o _helloworld.so helloworld_wrap.c -fPIC -shared -lpthread -ldl -lutil -lm -lpython2.7

编译成功后会生成扩展模块 _helloworld.so。在 mpi4py 程序中并不需要直接导入 _helloworld 模块，而是导入由 SWIG 生成的包装 Python 模块 helloworld。简单的使用例程如下：

# test.py

from mpi4py import MPI
import helloworld as hw

null = MPI.COMM_NULL
hw.sayhello(null)

comm = MPI.COMM_WORLD
hw.sayhello(comm)

try:
    hw.sayhello(list())
except:
    pass
else:
    assert 0, "exception not raised"

执行结果如下：

$ mpiexec -n 4 python test.py
You passed MPI_COMM_NULL !!!
Hello, World! I am process 0 of 4 on node4.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 2 of 4 on node4.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 3 of 4 on node4.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 1 of 4 on node4.

当然我们可以如上一篇中所介绍的编写一个 Makefile 以简化以上操作，如下（注意其中使用了在上一篇中介绍的 python-config 文件）：

# Makefile

.PHONY: default
default: build test clean

PYTHON = python
PYTHON_CONFIG = ${PYTHON} ./python-config
MPI4PY_INCLUDE = ${shell ${PYTHON} -c 'import mpi4py; print( mpi4py.get_include() )'}


SWIG = swig
SWIG_PY = ${SWIG} -python
.PHONY: src
src: helloworld_wrap.c
helloworld_wrap.c: helloworld.i
    ${SWIG_PY} -I${MPI4PY_INCLUDE} -o $@ $<

MPICC = mpicc
CFLAGS = -fPIC ${shell ${PYTHON_CONFIG} --includes}
LDFLAGS = -shared ${shell ${PYTHON_CONFIG} --libs}
SO = ${shell ${PYTHON_CONFIG} --extension-suffix}
.PHONY: build
build: _helloworld${SO}
_helloworld${SO}: helloworld_wrap.c
    ${MPICC} ${CFLAGS} -I${MPI4PY_INCLUDE} -o $@ $< ${LDFLAGS}


MPIEXEC = mpiexec
NP_FLAG = -n
NP = 5
.PHONY: test
test: build
    ${MPIEXEC} ${NP_FLAG} ${NP} ${PYTHON} test.py


.PHONY: clean
clean:
    ${RM} helloworld_wrap.c helloworld.py* _helloworld${SO}

以上将 C 语言程序直接放入 SWIG 接口文件的做法并不好，也不适合包装大量的 C 程序。我们可以将这部分 C 语言代码独立出来作为一个单独的 helloworld.c 文件，然后在 SWIG 接口文件 helloworld.i 的 %{ %} 之间只写上 #include “helloworld.c”，其它不变，也可以一样工作。不过一般更常用的方法是将要使用的函数原型声明写在头文件 helloworld.h 中，将函数的实现写在 helloworld.c 中，而在 SWIG 接口文件 helloworld.i 的 %{ %} 之间只写上 #include “helloworld.h”。helloworld.h 和 helloworld.c 的代码如下：

/* helloworld.h */

#define MPICH_SKIP_MPICXX 1
#define OMPI_SKIP_MPICXX  1

#include <mpi.h>

void sayhello(MPI_Comm comm);

/* helloworld.c */

#include "helloworld.h"

void sayhello(MPI_Comm comm) {
  int size, rank;
  char pname[MPI_MAX_PROCESSOR_NAME]; int len;
  if (comm == MPI_COMM_NULL) {
    printf("You passed MPI_COMM_NULL !!!\n");
    return;
  }
  MPI_Comm_size(comm, &size);
  MPI_Comm_rank(comm, &rank);
  MPI_Get_processor_name(pname, &len);
  pname[len] = 0;
  printf("Hello, World! I am process %d of %d on %s.\n",
         rank, size, pname);
}

然后修改 Makefile 如下，编译的时候需要 helloworld.c 和 helloworld_wrap.c：

# Makefile

.PHONY: default
default: build test clean

PYTHON = python
PYTHON_CONFIG = ${PYTHON} ./python-config
MPI4PY_INCLUDE = ${shell ${PYTHON} -c 'import mpi4py; print( mpi4py.get_include() )'}


SWIG = swig
SWIG_PY = ${SWIG} -python
.PHONY: src
src: helloworld_wrap.c
helloworld_wrap.c: helloworld.i
    ${SWIG_PY} -I${MPI4PY_INCLUDE} -o $@ $<

MPICC = mpicc
CFLAGS = -fPIC ${shell ${PYTHON_CONFIG} --includes}
LDFLAGS = -shared ${shell ${PYTHON_CONFIG} --libs}
SO = ${shell ${PYTHON_CONFIG} --extension-suffix}
.PHONY: build
build: _helloworld${SO}
_helloworld${SO}: helloworld.c helloworld_wrap.c
    ${MPICC} ${CFLAGS} -I${MPI4PY_INCLUDE} -o $@ $^ ${LDFLAGS}


MPIEXEC = mpiexec
NP_FLAG = -n
NP = 5
.PHONY: test
test: build
    ${MPIEXEC} ${NP_FLAG} ${NP} ${PYTHON} test.py


.PHONY: clean
clean:
    ${RM} helloworld_wrap.c helloworld.py* _helloworld${SO}

编译扩展库，执行程序及清理可以分别使用如下命令：

$ make build
$ make test
$ make clean

以上我们介绍了用 SWIG 包装 C 语言 MPI 程序以供 mpi4py 调用的方法，用 SWIG 包装 C++ 的方法也类似，如有需要读者可以参考以上的介绍以及 SWIG 的使用文档完成对 C++ MPI 程序的包装。除了可以使用 SWIG 包装 C/C++ 之外，还可以使用 C++ 的 boost.Python 库包装 C/C++ MPI 程序以供 mpi4py 调用，在下一篇中我们将对此进行介绍。

使用 SWIG 包装 C MPI 程序

猜你喜欢