如何为 PyPI 组织 Python 模块以支持 2.x 和 3.x

Posted

技术标签:

【中文标题】如何为 PyPI 组织 Python 模块以支持 2.x 和 3.x【英文标题】:How to organize Python modules for PyPI to support 2.x and 3.x 【发布时间】:2011-01-24 19:30:00 【问题描述】:

我有一个 Python 模块,我想上传到 PyPI。到目前为止,它适用于 Python 2.x。现在为 3.x 编写一个版本应该不会太难。

但是,在遵循在这些地方制作模块的指南之后:

Distributing Python Modules The Hitchhiker’s Guide to Packaging

我不清楚如何支持不同版本的 Python 的多个源分发,也不清楚 PyPI 是否/如何支持它。我想我会有单独的代码:

2.x 2.6(也许,作为使用新缓冲区 API 的特殊情况) 3.x

如何在 PyPI 中设置 Python 模块以便有人可以这样做:

easy_install modulename

无论用户使用的是 2.x 还是 3.x,它都会安装正确的东西?

【问题讨论】:

easy_install 不适用于 Python 3.x easy_install 的分布式版本确实适用于 Python 3.x (pypi.python.org/pypi/distribute)。 我将此问题添加到:bitbucket.org/tarek/hitchhiker-guide-packaging/issue/10/… 【参考方案1】:

我发现setup.py for httplib2 似乎有一种优雅的方式来支持 Python 2.x 和 3.x。所以我决定复制那个方法。

任务是为适用于所有受支持的 Python 发行版的软件包发行版制作一个 setup.py。然后用同样的setup.py,你可以这样做:

python2 setup.py install

还有

python3 setup.py install

应该可以保持setup.py 足够简单,以便使用所有受支持的 Python 发行版进行解析。我已经使用支持 2.4 到 2.6 以及 3.1 的包 cobs 成功地做到了这一点。该包包括纯 Python 代码(Python 2.x 和 3.x 的单独代码)和 C 扩展,分别为 2.x 和 3.x 编写。

这样做:

1) 我将 Python 2.x 代码放在 python2 子目录中,将 Python 3.x 代码放在 python3 子目录中。

2) 我将 2.x 和 3.x 的 C 扩展代码放在 src 目录下的 python2python3

所以,目录结构是:

root
  |
  +--python2
  |     |
  |     +--src
  |
  +--python3
  |     |
  |     +--src
  |
  +--setup.py
  +--MANIFEST.in

3) 在setup.py 中,我在顶部附近有这些行:

if sys.version_info[0] == 2:
    base_dir = 'python2'
elif sys.version_info[0] == 3:
    base_dir = 'python3'

4) 在对setup 的调用中,我将包指定为正常:

setup(
    ...
    packages=[ 'cobs', 'cobs.cobs', 'cobs.cobsr', ],

5) 我使用 package_dir 选项指定了 Python 代码的基本目录(请参阅步骤 3 了解 base_dir):

    package_dir=
        'cobs' : base_dir + '/cobs',
    ,

6) 对于 C 扩展,我给出了路径:

    ext_modules=[
        Extension('cobs.cobs._cobs_ext', [ base_dir + '/src/_cobs_ext.c', ]),
        Extension('cobs.cobsr._cobsr_ext', [ base_dir + '/src/_cobsr_ext.c', ]),
    ],

setup.py 就是这样。 setup.py 文件可由 Python 2.x 和 3.x 解析。

7) 最后,如果您使用以下方式构建源代码分发:

python2 setup.py sdist

那么默认情况下,它将仅拉入为该 Python 构建特别需要的文件。例如。在上述情况下,您只能在源代码分发中获得python2 下的文件,而不是python3 下的文件。但是对于完整的源代码分发,您希望包含 2.x 和 3.x 的文件。为此,请创建一个 MANIFEST.in 文件,其中包含以下内容:

include *.txt
recursive-include python2 *
recursive-include python3 *

要查看我做了什么,请查看PyPI 或BitBucket 上的cobs 源代码。

【讨论】:

不知道为什么这样的文章不在前面提到的指南之一或我能找到的任何其他地方。我刚刚将我的第一个 pkg 上传到 pypi,它是为 py3 编写的,但我想以合乎逻辑的方式支持 py2。我认为这会有所帮助。【参考方案2】:

最简单的解决方案是使用单一源分发。

【讨论】:

我可以制作一个单一的源代码分发,带有目录,例如python2python3,每个都包含自己的 setup.py 和该 Python 版本的模块代码。是这个意思吗? 该解决方案似乎与docs.python.org/3.1/install/index.html#platform-variations中的建议“您应该始终从分发根目录运行安装命令”相冲突 @Craig McQueen:应该有唯一的setup.py 文件。查看 PyPI pypi.python.org/pypi?:action=browse&c=5&c=531&c=533 上同时支持 2.x 和 3.x 的软件包 我看过一些:pyserial 使用 bdist_py2to3; blist 设法编写可由 2.x 或 3.x 解释的代码; bitstring 很老套; crcmodpy3 子目录中有单独的 3.x 代码(以及单独的 setup.py。到目前为止,我的情况看起来没有什么希望。 @Craig McQueen:2.x 和 3.x 的独立模块使维护工作加倍。这取决于您的代码需要多少变通方法才能使用 2.x 和 3.x 的单一源代码是否值得。

以上是关于如何为 PyPI 组织 Python 模块以支持 2.x 和 3.x的主要内容,如果未能解决你的问题,请参考以下文章

如何以轮格式安装 Python 库?

如何以轮格式安装 Python 库?

你如何为 python 模块的 argparse 部分编写测试?

如何为spring数据编写自定义模块

如何为 pypi pip 搜索设置 devpi-server

如何为 Python 2 和 3 上传通用 Python Wheel?