Pthon折腾之--Nuitka打包

Posted 2023-04-17

参考技术A

相较于简单易上手同样也 易报毒易破解的Pyinstaller , Nuitka的功能更侧重于加速, 打包功能只是附带的福利。

先把搜集的两篇参考文列上来, 安装运行之类的这里不废话了：
nuitka使用参考 , Python打包
当然更全面的还是直接看参数帮助： nuitka -h >read_nuitka.txt

功能单一的程序打包：
nuitka --mingw64 --follow-imports --full-compat --include-package=requests --plugin-enable=upx --windows-icon-from-ico=SOME.ico --output-dir=out SOME.py
或单文件方式：
nuitka --mingw64 --onefile --full-compat --include-package=requests --plugin-enable=upx --windows-icon-from-ico=SOME.ico --output-dir=out SOME.py
之所以加上 --include-package=requests , 在我的用例中不加运行时会报错 No module named xxx

多个功能exe分别编译，放到一个包中：
nuitka --mingw64 --nofollow-imports --full-compat --plugin-enable=upx --windows-icon-from-ico=SOME.ico --output-dir=out SOME.py
这样打包的文件体积几乎算是最小的，配合 嵌入式python-embed环境 运行, 可以替代 --standalone 参数, 达到同样的 Portable(便携) 效果。

编译模块为pyd：
nuitka --mingw64 --module --show-progress --full-compat --plugin-enable=upx --output-dir=out SOME.py

Linux之Python代码打包工具Nuitka使用说明

0 背景

在《部署深度学习模型时的全流程加密方案探索》一文中，我们介绍了几种 python 代码加密的方式，其中第一种是使用 Nuitka 工具进行封装，该工具首先将 py 文件转成 c 文件，然后编译成 .o 文件，最后合并成 .bin 可执行文件，从 bin 到 C 是不可逆的，从 C 到 Python 也是不可逆的，因此代码是安全的。工作量小，安全性高，使用加密之后的 Python 便捷；但编译时间长，过程复杂。本文对该工具的使用方法进行一个介绍

1 安装测试

1.1 安装方法

在官方的安装说明中，提供了不同平台的安装方法，我们在 linux 系统下，采用最简单的 pip 安装即可

pip install -U nuitka

安装好之后查看版本，可以看到安装的是最新的 0.6.17.7 版本。

$ python -m nuitka --version
0.6.17.7
Commercial: None
Python: 3.6.9 (default, Jan 26 2021, 15:33:00) 
Executable: /usr/bin/python
OS: Linux
Arch: aarch64

如果要查看帮助文档，使用下边的指令

$ python -m nuitka --help

1.2 简单测试

新建一个 python 测试脚本 hello.py

def talk(message):
    return "Talk " + message


def main():
    print(talk("Hello World"))


if __name__ == "__main__":
    main()

使用工具创建可执行文件，会生成 hello.bin 文件，从输出日志可以看到封装的过程

$ python -m nuitka --lto=no hello.py█████████████████████████████████████████████████████████████████████████| 10/10
Nuitka-Options:INFO: Used command line options: --lto=no hello.py
Nuitka-Options:INFO: Detected static libpython to exist, consider '--static-libpython=yes' for better performance.                                  
Nuitka:INFO: Starting Python compilation with Nuitka '0.6.17.7' on Python '3.6' commercial None.
Nuitka:INFO: Completed Python level compilation and optimization.                                                                                   
Nuitka:INFO: Generating source code for C backend compiler.
Nuitka:INFO: Running data composer tool for optimal constant value handling.                                                                        
Nuitka:INFO: Running C level backend compilation via Scons.
Nuitka-Scons:INFO: Backend C compiler: gcc (gcc).
Nuitka-Scons:WARNING: You are not using ccache.                                                                                                     
Nuitka:INFO: Keeping build directory 'hello.build'.
Nuitka:INFO: Successfully created 'hello.bin'.

运行成功后，测试一下生成的 bin 文件，输出成功，表明环境没问题

$ ./hello.bin 
Talk Hello World

2 使用方法

2.1 封装所有模块

如果想要把整个工程进行封装，而不是只封装一个主程序，则使用下边的方法

python -m nuitka --follow-imports program.py

注意：

1、在封装过程中，尽量少包含一些模块，这些模块使用普通的 python 脚本运行，这样速度会快一些。如果说你的工程中包含一些动态库，无法直接通过 PYTHONPATH 环境变量设置后直接导入的话，可以在封装过程中指定这些路径，如下

python -m nuitka --follow-imports --include-plugin-directory=plugin_dir program.py

2、生成的可执行文件依赖于 CPython 和 C 环境，如果你想要在另外一台设备上运行可执行文件，需要使用 --standalon 指令，并且拷贝 program.dist 路径，将可执行文件放到这个目录中

2.2 封装动态库

如果说你想把某些模块封装成动态库，需要使用 --module 指令，如下

python -m nuitka --module some_module.py

运行后会生成 some_module.so 动态库，可以被其他程序导入使用。注意生成的这个动态库只能被相同版本的 CPython 导入。

2.3 封装包

如果要封装整个包，并且一些模块使用动态库的方式，可以使用下边的方法

python -m nuitka --module some_package --include-package=some_package

2.4 程序分发

如果要将代码分发到其它系统中，可以通过指定 --standalone 指令来生成一个文件夹

python -m nuitka --standalone program.py

默认会导入所有的模块，如果要排除一些模块，可以使用 --nofollow-import-to 指令，但是在程序运行时可能会出现 ImportError

3 指令说明

来源：Python打包(pyinstaller&nuitka)_＠假装很文艺的文艺青年的博客-CSDN博客_nuitka打包python

3.1 常用参数

--mingw64 #默认为已经安装的vs2017去编译，否则就按指定的比如mingw

--standalone #独立文件，这是必须的

--follow-imports #把开头import的文件或者模块一起打包

--windows-disable-console #没有CMD控制窗口

--recurse-all #所有的资源文件 这个也选上

--recurse-not-to=numpy,jinja2 #不编译的模块，防止速度会更慢

--output-dir=out #生成exe到out文件夹下面去

--show-progress #显示编译的进度，很直观

--show-memory #显示内存的占用

--plugin-enable=pylint-warnings #报警信息

--plugin-enable=qt-plugins #需要加载的PyQT插件

--nofollow-imports # 所有的import不编译，交给python3x.dll执行

--follow-import-to=need # need为你需要编译成C/C++的py文件夹命名

--include-package #将python的requests包打包进exe

–include-plugin-directory #可以将某文件夹里的所有文件打包进执行档中，这里的路径需要写绝对路径

3.2 模块和包

--include-package=PACKAGE：
包含一个包。提供一个 Python 命名空间，比如：some_package.sub_package，然后 Nuitka 会找到它，并将磁盘中的它和它创建的二进制文件或所有扩展模块包括在内，并通过代码将其导入。默认为空。
--include-module=MODULE：
包含一个模块。和 --include-package 一样。默认为空。
--include-plugin-directory=MODULE/PACKAGE：
包含目录的内容，不管给定的主程序是否以可见的形式使用它。将重写其他所有递归选项。可以多次使用。默认为空。
--include-plugin-files=PATTERN：
包含所有匹配的文件。将覆盖所有递归选项。可以多次使用。默认为空。

3.3 模块递归

--follow-stdlib, --recurse-stdlib：
从标准库中导入模块。这将大大增加编译时间。默认关闭。
--nofollow-imports, --recurse-none：
当使用 --recure-none，将完全不导入任何模块，将覆盖所有其他的递归选项。默认关闭。
--follow-imports, --recurse-all：
当使用 --recurse-all 时，将导入所有模块。默认关闭。
--follow-import-to=MODULE/PACKAGE, --recurse-to=MODULE/PACKAGE：
递归指定的模块或包，可以多次使用。默认为空。
--nofollow-import-to=MODULE/PACKAGE, --recurse-not-to=MODULE/PACKAGE：
不递归指定的模块或包，将覆盖递归选项。可以多次使用。默认为空

3.4 编译后执行

--run：
立即执行创建的二进制文件（或导入编译的模块）。默认关闭。
--debugger, --gdb：
在 gdb 内执行，以自动获取堆栈跟踪。默认关闭。
--execute-with-pythonpath：
当立即执行创建的二进制文件时（--execute），不要重置 PYTHONPATH。当所有模块都成功包含时，你应该不再需要 PYTHONPATH。

3.5 输出选项

-o FILENAME：
指定应如何命名可执行文件。对于扩展模块而言，没有选择也没有独立模式，使用它将是一个错误。这可能包含需要存在的路径信息，默认为平台下的  程序名称。平台名称.exe。
--output-dir=DIRECTORY：
指定最终文件的输出目录。默认为当前目录。
--remove-output：
生成模块或 exe 文件之后删除生成目录。默认关闭。
--no-pyi-file：
不要为创建的扩展模块创建 .pyi 文件。这用于检测隐式导入。默认为关闭。

3.6 调试特性

--debug：
执行所有可能的自检以查找 Nuitka 中的错误，不适合生成环境。默认关闭。
--unstripped：
在生成的对象文件中保留调试信息，以便更好地进行调试器交互。默认关闭。
--profile：
启用基于 vmprof 的时间分析。默认关闭。
--graph：
创建优化过程图。默认关闭。
--trace-execution：
跟踪执行输出，在执行前输出代码行。默认关闭。
--recompile-c-only：
这不是增量编译，而是仅用于 Nuitka 开发。获取现有文件并将其重新编译为 C。允许编译编辑过的 C 文件，以便快速调试对生成源的更改，例如查看代码是否通过、值的输出等。默认关闭。
--generate-c-only：
只生成 C 源代码，不编译生成二进制文件或模块。这是为了调试和代码覆盖率分析，而不是浪费 CPU。默认关闭。
--experimental=EXPERIMENTAL：
使用声明为 experimental 的功能。如果代码中不存在任何实验功能，则可能没有效果。
--disable-dll-dependency-cache：
禁用依赖项的缓存。这将导致创建分发文件夹的时间更加长。可以在怀疑缓存导致错误时使用。
--force-dll-dependency-cache-update：
用于更新依赖性缓存。这将导致创建分发文件夹的时间更加长。可以在怀疑缓存导致错误或已知需要更新缓存时使用。

3.7 编译器选择

--clang：
强制使用 clang。在 Windows 上，这需要一个 Visual Studio 版本来支持。默认关闭。
--mingw64：
在 Windows 上强制使用 MinGW64。默认关闭。
--msvc=MSVC：
在 Windows 上强制使用特定的 MSVC 版本。默认为最新版本。
-j N, --jobs=N：
指定允许的并发 C 编译器的作业数量。默认为系统 CPU 的个数。
--lto：
如果可用，请使用链接时间优化（GCC 4.6 及更高版本 ）。默认关闭。

3.8 跟踪特性

--show-scons：
在非安静模式下操作 Scons，显示执行的命令。默认关闭。
--show-progress：
提供进度信息和统计数据。默认关闭。
--show-memory：
提供内存信息和统计数据。默认关闭。
--show-modules：
提供包含模块的最终汇总信息。默认关闭。
--verbose：
输出所采取操作的详细信息，特别是在优化中。默认关闭。

3.9 windows 特定控制

--windows-dependency-tool=DEPENDENCY_TOOL：
在为 Windows 编译时，使用此依赖性工具。默认为 depends.exe 文件，其他允许的值为 pefile。
--windows-disable-console：
在为 Windows 编辑时，禁用控制台窗口。默认关闭。
--windows-icon=ICON_PATH：
添加可执行文件的图标（只有 Windows 下）

3.10 插件控制

--plugin-enable=PLUGINS_ENABLED, --enable-plugin=PLUGINS_ENABLED：
启用插件。必须指定插件名。使用 --plugin-list 查询所有的插件列表并退出。默认为空。
--plugin-disable=PLUGINS_DISABLED, --disable-plugin=PLUGINS_DISABLED：
禁用插件。必须指定插件名。
--plugin-no-detection：
插件会检测是否可以使用他们。使用此选项可以禁用插件发出的警告。默认关闭。
--plugin-list：
显示所有可用的插件并退出。
--user-plugin=USER_PLUGINS：
用户插件的文件名，可以指定多次。默认为空。

 3.11 打包控制

--follow-stdlib, --recurse-stdlib
                    Also descend into imported modules from standard
                    library. This will increase the compilation time by a
                    lot. Defaults to off.
--nofollow-imports, --recurse-none
                    When --recurse-none is used, do not descend into any
                    imported modules at all, overrides all other recursion
                    options. Defaults to off.
--follow-imports, --recurse-all
                    When --recurse-all is used, attempt to descend into
                    all imported modules. Defaults to off.
--follow-import-to=MODULE/PACKAGE, --recurse-to=MODULE/PACKAGE
                    Recurse to that module, or if a package, to the whole
                    package. Can be given multiple times. Default empty.
--nofollow-import-to=MODULE/PACKAGE, --recurse-not-to=MODULE/PACKAGE
                    Do not recurse to that module name, or if a package
                    name, to the whole package in any case, overrides all
                    other options. Can be given multiple times. Default
                    empty.