如何使用 autotools 与库同时构建 Python 接口
Posted
技术标签:
【中文标题】如何使用 autotools 与库同时构建 Python 接口【英文标题】:How to use autotools to build Python interface at same time as library 【发布时间】:2011-02-20 11:05:21 【问题描述】:我目前有一个用 C++ 编写的库,使用 GNU 自动工具构建,我想向它添加一个 Python 接口。我使用 SWIG 开发了界面,但在弄清楚如何将 Python 模块的编译与流程的其余部分集成时遇到了一些麻烦。
我已经查看了 AM_PATH_PYTHON,但这个宏似乎没有为 Python.h 设置包含路径,所以当我编译我的模块时,我收到一堆关于缺少包含文件的错误。有没有办法让 Python 包含路径和 ldflags 脱离 AM_PATH_PYTHON?
为了记录,我认为不可能使用 Python 的 distutils 方法 (setup.py),因为这需要库的位置才能链接新模块。由于在编译时尚未安装该库,因此我将不得不使用相对路径(例如 ../src/lib.so),一旦安装了 Python 模块,该路径当然会中断(因为该库当时位于 / usr/lib 或 /usr/local/lib 代替。)
编辑:
现在它可以找到它正在编译的 .h 文件,但是在安装它之后(在正确的位置)Python 无法加载该模块。代码生成 foo.so,当我“导入 foo”时,我得到了这个:
ImportError: 动态模块没有定义初始化函数(initfoo)
但是,如果我将它从 foo.so 重命名为 _foo.so,那么它会加载并运行良好,除非我必须“导入 _foo”,而我不想这样做。当我按照 SWIG 说明在当前目录中生成 _foo.so 时,“import foo”有效,所以我不确定为什么在站点目录中安装库时它会中断。
编辑2:
原来问题是我忘记将 SWIG 生成的 foo.py 复制到 _foo.so 旁边的安装目录中。一旦我这样做了,一切都按预期工作!现在我只需要弄清楚一些 automake 规则即可将文件复制到安装目录中......
【问题讨论】:
要将非可执行文件复制到目录中,您可能需要pkgpythondir_DATA = foo.py
之类的内容。
【参考方案1】:
要查找包含路径,我会使用python-config
。诀窍是使用与$PYTHON
中安装的python 对应的python-config
。
AM_PATH_PYTHON
AC_ARG_VAR([PYTHON_INCLUDE], [Include flags for python, bypassing python-config])
AC_ARG_VAR([PYTHON_CONFIG], [Path to python-config])
AS_IF([test -z "$PYTHON_INCLUDE"], [
AS_IF([test -z "$PYTHON_CONFIG"], [
AC_PATH_PROGS([PYTHON_CONFIG],
[python$PYTHON_VERSION-config python-config],
[no],
[`dirname $PYTHON`])
AS_IF([test "$PYTHON_CONFIG" = no], [AC_MSG_ERROR([cannot find python-config for $PYTHON.])])
])
AC_MSG_CHECKING([python include flags])
PYTHON_INCLUDE=`$PYTHON_CONFIG --includes`
AC_MSG_RESULT([$PYTHON_INCLUDE])
])
另一种选择是在 distutils.sysconfig
模块中四处寻找(这与使用 distutils 构建代码无关)。运行python -c "import distutils.sysconfig; help(distutils.sysconfig)"
看看。
【讨论】:
谢谢 - 这行得通,但是现在我在使用最终的 .so 二进制文件时遇到了问题,我已经更新了原始问题。【参考方案2】:这是我从“configure.ac”调用的 autoconf 宏,用于查找 Python 包含目录 (PYTHONINC) 和 Python 安装目录(通过 AM_PATH_PYTHON)。
AC_DEFUN([adl_CHECK_PYTHON],
[AM_PATH_PYTHON([2.0])
AC_CACHE_CHECK([for $am_display_PYTHON includes directory],
[adl_cv_python_inc],
[adl_cv_python_inc=`$PYTHON -c "from distutils import sysconfig; print sysconfig.get_python_inc()" 2>/dev/null`])
AC_SUBST([PYTHONINC], [$adl_cv_python_inc])])
然后我的wrap/python/Makefile.am
使用 Libtool 构建两个 Swig 模块,如下所示:
SUBDIRS = . cgi-bin ajax tests
AM_CPPFLAGS = -I$(PYTHONINC) -I$(top_srcdir)/src $(BUDDY_CPPFLAGS) \
-DSWIG_TYPE_TABLE=spot
EXTRA_DIST = spot.i buddy.i
python_PYTHON = $(srcdir)/spot.py $(srcdir)/buddy.py
pyexec_LTLIBRARIES = _spot.la _buddy.la
MAINTAINERCLEANFILES = \
$(srcdir)/spot_wrap.cxx $(srcdir)/spot.py \
$(srcdir)/buddy_wrap.cxx $(srcdir)/buddy.py
## spot
_spot_la_SOURCES = $(srcdir)/spot_wrap.cxx $(srcdir)/spot_wrap.h
_spot_la_LDFLAGS = -avoid-version -module
_spot_la_LIBADD = $(top_builddir)/src/libspot.la
$(srcdir)/spot_wrap.cxx: $(srcdir)/spot.i
$(SWIG) -c++ -python -I$(srcdir) -I$(top_srcdir)/src $(srcdir)/spot.i
$(srcdir)/spot.py: $(srcdir)/spot.i
$(MAKE) $(AM_MAKEFLAGS) spot_wrap.cxx
## buddy
_buddy_la_SOURCES = $(srcdir)/buddy_wrap.cxx
_buddy_la_LDFLAGS = -avoid-version -module $(BUDDY_LDFLAGS)
$(srcdir)/buddy_wrap.cxx: $(srcdir)/buddy.i
$(SWIG) -c++ -python $(BUDDY_CPPFLAGS) $(srcdir)/buddy.i
$(srcdir)/buddy.py: $(srcdir)/buddy.i
$(MAKE) $(AM_MAKEFLAGS) buddy_wrap.cxx
上述规则使得 Swig 的结果被视为源文件(即分布在 tarball 中),其方式与 Bison 生成的解析器相同。这样最终用户就不需要安装 Swig。
当您运行make
时,*.so
文件会被 Libtool 隐藏在某个 .libs/
目录中,但在 make install
之后它们会被复制到正确的位置。
唯一的窍门是如何在运行make install
之前使用源目录中的模块。例如。在运行make check
时。对于这种情况,我生成(使用configure
)一个名为run
的脚本,它在运行任何python
脚本之前设置PYTHONPATH
,并且我通过这个run
脚本执行我的所有测试用例。这是run.in
的内容,在configure
替换任何值之前:
# Darwin needs some help in figuring out where non-installed libtool
# libraries are (on this platform libtool encodes the expected final
# path of dependent libraries in each library).
modpath='../.libs:@top_builddir@/src/.libs:@top_builddir@/buddy/src/.libs'
# .. is for the *.py files, and ../.libs for the *.so. We used to
# rely on a module called ltihooks.py to teach the import function how
# to load a Libtool library, but it started to cause issues with
# Python 2.6.
pypath='..:../.libs:@srcdir@/..:@srcdir@/../.libs:$PYTHONPATH'
test -z "$1" &&
PYTHONPATH=$pypath DYLD_LIBRARY_PATH=$modpath exec @PYTHON@
case $1 in
*.py)
PYTHONPATH=$pypath DYLD_LIBRARY_PATH=$modpath exec @PYTHON@ "$@";;
*.test)
exec sh -x "$@";;
*)
echo "Unknown extension" >&2
exit 2;;
esac
如果您想在实际项目中看到这一切,您可以从https://spot.lrde.epita.fr/install.html获得它
【讨论】:
【参考方案3】:在命令行上手动构建
无需将 SWIG 步骤添加到您的 makefile,您可以使用这些命令构建 SWIG 扩展(如果您有 source_file.cpp 和 your_extension.i 来创建您的 python 模块):
# creation of your_extension_wrap.cpp
swig -c++ -python -o your_extension_wrap.cpp your_extension.i
# creation of your_extension_wrap.o, source_file.o and your_extension.py
g++ -fPIC -c your_extension_wrap.cpp source_file.cpp -I/usr/include/python2.7
# creation of the library _your_extension.so
g++ -shared your_extension_wrap.o source_file.o -o _your_extension.so
注意:共享对象的名称前加下划线很重要,否则在 import your_extension 执行时 Python 将无法找到它。
将 SWIG 添加到 Autoconf
我用 Python 编写了一个小程序,其中我需要一个用 C++ 编写的文件(例如舍入方法)。
您需要额外的 Autoconf 宏来启用 SWIG 支持。正如 johanvdw 所指出的,如果您使用这两个 m4 宏会更容易:ax_pck_swig 和 ax_swig_python。我下载了from the Autoconf Macro Archive,放在我的项目树的m4子目录下:
trunk
├── configure.ac
├── __init__.py
├── m4
│ ├── ax_pkg_swig.m4
│ ├── ax_swig_python.m4
│ ├── libtool.m4
│ ├── lt~obsolete.m4
│ ├── ltoptions.m4
│ ├── ltsugar.m4
│ └── ltversion.m4
├── Makefile.am
├── rounding_swig
│ ├── compile.txt
│ ├── __init__.py
│ ├── Makefile.am
│ ├── rnd_C.cpp
│ ├── rounding.i
│ ├── rounding_wrap.cpp
└── src
├── cadna_add.py
├── cadna_computedzero.py
├── cadna_convert.py
├── __init__.py
└── Makefile.am
当你将这两个m4宏放在一个子目录中时,你需要将这一行添加到你的trunk/Makefile.am中:
ACLOCAL_AMFLAGS = -I m4
现在,让我们看看trunk/configure.ac:
AC_PREREQ([2.69]) # Check autoconf version
AC_INIT(CADNA_PY, 1.0.0, cadna-team@lip6.fr) # Name of your software
AC_CONFIG_SRCDIR([rounding_swig/rnd_C.cpp]) # Name of the c++ source
AC_CONFIG_MACRO_DIR(m4) # Indicate where are your m4 macro
AC_CONFIG_HEADERS(config.h)
AM_INIT_AUTOMAKE
AC_DISABLE_STATIC #enable shared libraries
# Checks for programs.
AC_PROG_LIBTOOL # check libtool
AC_PROG_CXX # check c++ compiler
AM_PATH_PYTHON(2.3) # check python version
AX_PKG_SWIG(1.3.21) # check swig version
AX_SWIG_ENABLE_CXX # fill some variable usefull later
AX_SWIG_PYTHON # same
# Checks for header files.
AC_CHECK_HEADERS([fenv.h stdlib.h string.h]) # any header needed by your c++ source
# Checks for typedefs, structures, and compiler characteristics.
AC_CHECK_HEADER_STDBOOL
AC_TYPE_SIZE_T
# Checks for library functions.
AC_FUNC_MALLOC
AC_CHECK_FUNCS([fesetround memset strstr])
AC_CONFIG_FILES([
Makefile
src/Makefile
rounding_swig/Makefile
])
LIBPYTHON="python$PYTHON_VERSION" # define the python interpreter
LDFLAGS="$LDFLAGS -l$LIBPYTHON"
AC_OUTPUT
将 SWIG 添加到 Automake
在您的 trunk/Makefile.am 中,您需要执行以下操作:
ACLOCAL_AMFLAGS = -I m4
# Indicate the subdir of c++ file and python file
SUBDIRS = src rounding_swig
# Indicate a list of all the files that are part of the package, but
# are not installed by default and were not specified in any other way
EXTRA_DIST= \
rounding_swig/rounding.i \
rounding_swig/testrounding.py \
rounding_swig/testrounding.cpp
在你的 trunk/src/Makefile.am 中:
# Python source files that will be install in prefix/lib/name_of_your_python_interpreter/site-packages/name_of_your_project
pkgpython_PYTHON = cadna_add.py cadna_computedzero.py cadna_convert.py
难点在于trunk/rounding_swig/Makefile.am。它创建一个库 .la 和一个 _your_extension.so 并将其放在 prefix/lib64/python2.7/site-packages/name_of_the_project/ 中。
# Name of the cpp source file
BUILT_SOURCES = rounding_wrap.cpp
# Name of the swig source file
SWIG_SOURCES = rounding.i
# Python source files that will be install in prefix/lib/name_of_your_python_interpreter/site-packages/name_of_your_project
pkgpython_PYTHON = rounding.py __init__.py
pkgpyexec_LTLIBRARIES = _rounding.la
_rounding_la_SOURCES = rounding_wrap.cpp $(SWIG_SOURCES) rnd_C.cpp
_rounding_la_CPPFLAGS = $(AX_SWIG_PYTHON_CPPFLAGS) -I$(top_srcdir)/rounding_swig -I/usr/include/python@PYTHON_VERSION@ -lpython@PYTHON_VERSION@
_rounding_la_LDFLAGS = -module
rounding_wrap.cpp: $(SWIG_SOURCES)
$(SWIG) $(AX_SWIG_PYTHON_OPT) -I$(top_srcdir)/rounding_swig -I/usr/include/python@PYTHON_VERSION@ -o $@ $<
最后,如果你没有 5 others 宏,你可以输入:
autoreconf -i
最后,安装你的项目:
libtoolize && aclocal && autoheader && autoconf && automake -a -c
./configure --prefix=<install prefix>
make
make install
PS : Here 是一个过时但简单的教程,对我有帮助(过时是因为它使用了 ac_pkg_swig.m4,但新版本的 swig 失败了)。
【讨论】:
【参考方案4】:我知道这是一篇旧帖子,但既然我还是来到了这里:有一些 m4 宏可以很容易地使用 swig 编译 python 绑定:
http://www.gnu.org/software/autoconf-archive/ax_pkg_swig.html 和 http://www.gnu.org/software/autoconf-archive/ax_swig_python.html
【讨论】:
以上是关于如何使用 autotools 与库同时构建 Python 接口的主要内容,如果未能解决你的问题,请参考以下文章
配置 autotools 以使用相同的目标文件来构建两个程序