使用 boost.Python 包装 C++ MPI 程序

本文从本人简书博客同步过来

在上一篇中我们介绍了用 SWIG 包装 C 语言 MPI 程序以供 mpi4py 调用的方法，用 SWIG 包装 C++ 的方法也类似，如有需要读者可以参考以上的介绍以及 SWIG 的使用文档完成对 C++ MPI 程序的包装。除了可以使用 SWIG 包装 C/C++ 之外，还可以使用 C++ 的 boost.Python 库包装 C/C++ MPI 程序以供 mpi4py 调用，下面我们以包装 C++ MPI 程序为例对此进行介绍。

Boost.Python 是 C++ 的 Boost 库的一部分，用来在 C++ 代码中调用 Python 代码以及在 Python 代码中调用 C++ 代码，并且避免用户直接操作指针。Boost.Python 库可以让 C++ 和 Python 几乎无缝结合。这里不介绍 Boost.Python 的详细使用方法，感兴趣的读者可以参考其文档。我们只会以简单的例子展示如何使用 Boost.Python 库包装 C/C++ MPI 程序以供 mpi4py 调用。

假设我们有以下使用了 Boost.Python 的 C++ 程序文件 helloworld.cxx，其中定义了函数 sayhello，其接受一个 MPI 通信子作为参数。

// helloworld.cxx

#include <mpi.h>
#include <iostream>

static void sayhello(MPI_Comm comm)
{
  if (comm == MPI_COMM_NULL) {
    std::cout << "You passed MPI_COMM_NULL !!!" << std::endl;
    return;
  }
  int size;
  MPI_Comm_size(comm, &size);
  int rank;
  MPI_Comm_rank(comm, &rank);
  int plen; char pname[MPI_MAX_PROCESSOR_NAME];
  MPI_Get_processor_name(pname, &plen);
  std::cout <<
    "Hello, World! " <<
    "I am process "  << rank  <<
    " of "           << size  <<
    " on  "          << pname <<
    "."              << std::endl;
}


#include <boost/python.hpp>
#include <mpi4py/mpi4py.h>
using namespace boost::python;

static void hw_sayhello(object py_comm)
{
  PyObject* py_obj = py_comm.ptr();
  MPI_Comm *comm_p = PyMPIComm_Get(py_obj);
  if (comm_p == NULL) throw_error_already_set();
  sayhello(*comm_p);
}

BOOST_PYTHON_MODULE(helloworld)
{
  if (import_mpi4py() < 0) return; /* Python 2.X */

  def("sayhello", hw_sayhello);
}


/*
 * Local Variables:
 * mode: C++
 * End:
 */

我们要将其编译成扩展模块 helloworld.so 以供 mpi4py 程序调用，可以使用类似于以下的编译命令（注意将其中的头文件路径改成你的系统中实际的路径）：

$ mpicxx -I/path/to/python/include/python2.7  -I/path/to/python/lib/python2.7/site-packages/mpi4py/include -o helloworld.so helloworld.cxx -fPIC -shared -lpthread -ldl -lutil -lm -lpython2.7 -lboost_python -lboost_python-mt

这编译命令与前两篇中使用的编译命令非常类似，不同的是，对 C++ 程序，这里使用的是 mpicxx 编译器，另外除了指定 Python.h 和 mpi4py.h 的头文件路径及链接 python2.7 等库文件外，还需额外链接 boost_python 和 boost_python-mt 库文件，因为这里我们是使用 Boost.Python 库来包装的。

编译成功后会生成扩展模块 helloworld.so，然后就可以在我们的 mpi4py 程序中像使用其它 Python 模块一样导入该模块并调用该模块中定义的 sayhello 函数，可以向此函数传递一个 mpi4py 中定义的通信子，如 MPI.COMM_WORLD 或者其它通信子对象。例如使用以下的 test 例程：

# test.py

from mpi4py import MPI
import helloworld as hw

null = MPI.COMM_NULL
hw.sayhello(null)

comm = MPI.COMM_WORLD
hw.sayhello(comm)

try:
    hw.sayhello(list())
except:
    pass
else:
    assert 0, "exception not raised"

执行结果如下：

$ mpiexec -n 4 python test.py
You passed MPI_COMM_NULL !!!
Hello, World! I am process 1 of 4 on  node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 2 of 4 on  node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 3 of 4 on  node2.
You passed MPI_COMM_NULL !!!
Hello, World! I am process 0 of 4 on  node2.

为了方便，我们也可以编写如下 Makefile 以简化上述操作（注意其中使用了在上一篇中介绍的 python-config 文件）：

# Makefile

.PHONY: default
default: build test clean

PYTHON = python
PYTHON_CONFIG = ${PYTHON} ./python-config
MPI4PY_INCLUDE = ${shell ${PYTHON} -c 'import mpi4py; print( mpi4py.get_include() )'}
BOOST_INCS =
BOOST_LIBS = -lboost_python -lboost_python-mt


MPICXX = mpicxx
CXXFLAGS = -fPIC ${shell ${PYTHON_CONFIG} --includes} ${BOOST_INCS}
LDFLAGS = -shared ${shell ${PYTHON_CONFIG} --libs} ${BOOST_LIBS}
SO = ${shell ${PYTHON_CONFIG} --extension-suffix}
.PHONY: build
build: helloworld${SO}
helloworld${SO}: helloworld.cxx
    ${MPICXX} ${CXXFLAGS} -I${MPI4PY_INCLUDE} -o $@ $< ${LDFLAGS}


MPIEXEC = mpiexec
NP_FLAG = -n
NP = 5
.PHONY: test
test: build
    ${MPIEXEC} ${NP_FLAG} ${NP} ${PYTHON} test.py


.PHONY: clean
clean:
    ${RM} helloworld${SO}

编译扩展库，执行程序及清理可以分别使用如下命令：

$ make build
$ make test
$ make clean

以上我们介绍了用 Boost.Python 包装 C++ 语言 MPI 程序以供 mpi4py 调用的方法，在下一篇中我们将介绍使用 f2py 包装 Fortran MPI 程序的方法。

使用 boost.Python 包装 C++ MPI 程序

猜你喜欢