工程脚本插件方案 - c集成Python基础篇

Posted 2020-07-16 取个昵称真难吖

工程脚本插件方案 - c集成Python基础篇

序： 为什么要集成脚本，怎么在工程中集成Python脚本。

在做比较大型的工程时，一般都会分核心层和业务层。核心层要求实现高效和稳定的基础功能，并提供调用接口供业务层调用的一种标准的框架划分。在实际中根据需求会拆分的更细。

外部的表现形式就是一个核心动态库，带着一堆业务业务动态库。通过一个调度程序把这些链接起来，外加一堆配置文件，就形成一个完成的项目。

这种模式在一个团队开发中，工作职责比较容易划分。制定API接口后，开发工作基本可以并行实现，包括后期的功能测试（白盒、黑盒）。不管工程使用什么语言，基本都是如此。

c语言无疑是很强大而又灵活的，但是开发比较复杂，开发工期比较长。全部使用c/c++ 进行开发的话，编译调试整合发布，就需要大量时间，包括运营维护的话，呵呵～ 。整个产品的生命周期需要投入大量的人力来维持这个产品。特别是对做定制的最终用户的话，那就可能就是一场旷日持久战。

刚才说的一般工程都会包括2方面，核心和扩展。是公司级产品的话，一定会出于盈利问题，会对核心做保密（商业机密）。扩展是在核心基础上实现的，很大程度上保密等级就没那么高，甚至可以是开放式的。方便有一定能力的用户直接扩展。这是最理想的一种情况。

如果业务层还是使用c/c++的话，估计用户没有几个有能力或者说不太愿意去做扩展。只能公司团队进行维护和扩展。当然开源项目除外，活跃的开源项目还是有很多大侠们愿意去扩展的。当降低扩展的难度，不仅可以缩短开发周期降低成本，降低运营维护成本。如果产品够优秀，还能吸引有一定能力的客户来帮忙做扩展。扩展简单方便，用户自己都能扩展，项目运营成本必定降低。这就皆大欢喜。

脚本是一个非常方便的东西，不需要编译直接运行就能看到结果。不用考虑大量系统相关的开发技巧，更贴近实际业务的描述，修正问题不需要重新编译发布，维护非常方便。能大大提供生产效率，这就是我们所须要的。现在流行的脚本语言有很多Ruby、Perl、Python、Lua、javascript等等。。。，反正很多。

脚本语言比较:

1、python： 简单易学，有大量扩展可以使用。
2、Ruby： 魔幻型纯面向对象语言，非常灵活，学习相对其他语言有一定难度。
3、Lua： 超轻量级，性能高效。很多游戏使用Lua提供扩展。

使用那种脚本作为扩展，要看实际项目和现有资源的情况而定。本文只介绍python的集成。

废话这么多，主要的目的就下面几个。

扩展目的：

1、高可配性。 解决一些简单配置不能实现的组织、回调功能，避免改动重编重发布。
2、为了使用已有的库。 如原来你有很多积累，写了一些适合工程开发的库。
3、优化程序提升性能。 对脚本程序使用库的一种情况。

集成： 就是通过简单、直接和快速的在不同语言直接调度切换控制，属于无缝连接。就像使用同一种语言在不同的动态库之间调度。而不是那种使用套接字和管道等的间接调度。

混合开发中，不管python或C都可以作为“上层”。因此两方面都要提供入口提供对方调度。这个其实和正常的同一语言编写的插件模式是一致的。核心提供接口和注册入口，扩展注册入口并调用接口。

嵌入接口： C程序中运行Python的代码
扩展接口： Python程序中运行C的代码库

测试环境：
window 7
vs2015
python 3.5

1、准备环境

使用的Python是3.5版本的。

首先肯定是须要个python的运行环境，可以直接从官网python.org下载Python3.x 进行安装。建议直接下源代码编译，因为里面有很多代码可以参考。

windows配置

python安装路径以下为例d:\python，在系统的用户环境变量中添加。

1、 增加python搜索路径，方便代码运行调试

path=d:\python;d:\python\pcbuild\win32

2、 增加python环境路径。加载模块时默认会从配置路径中搜索。

PYTHONPATH=.;d:\python\lib;d:\python\pcbuild\win32;D:\Python\Lib\site-packages;d:\python

3、 增加编译路径。

PyInc=d:\python\include;d:\python\pc
PyLib=d:\python\pcbuild\win32

方便VS搜索路径配置。在工程中，只需引用配置变量路径，可以直接使用$(PyInc) 和$(PyLib)。

提示： 由于是自己编译的，一些环境参数没有须要自己加。注意大小写

2.1、嵌入Python第一个简单工程

创建测试工程

在VS中创建一个空的VC++控制台程序。在工程选择的搜索目录中加入$(PyInc)。

选择菜单：Project->Properties...

在VC++ Directories分类的Include Directories中加入先前定义的环境变量$(PyInc)。确保Python的头文件能搜索到。

使用环境变量的一个好处是，方便不同机器不同环境的切换，不需要修改工程配置。

提示： 可以不建工程，直接使用makefile方式进行编译。

创建script.py脚本

在工程中创建一个新文件，直接改名为script.py，复制下面内容。

注意： 编码设置为UTF-8

"""
在C中调用Python模块运行。
调用时须要把文件放在程序当前运行目录(保证在搜索目录中)。
www.moguf.com  2016-05-28
"""

message = ‘hello life...‘

def transform(input):
    input = input.replace(‘life‘, ‘Python‘)
    return input.upper()

在Python环境中运行这个脚本，可以得到下面结果。可以看到打印出 hello life... 和转换后的字符串 HELLO PYTHON...

Microsoft Windows [版本 6.1.7601]
版权所有 (c) 2009 Microsoft Corporation。保留所有权利。

C:\Users\CrystalIce>cd /d D:\Dev\MySimple\pythoninc\embedsimple

D:\Dev\MySimple\pythoninc\embedsimple>python
Running Release|Win32 interpreter...
Python 3.5.0 (default, Nov  4 2015, 21:58:28) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import script
>>> print(script.message)
hello life...
>>> x = script.message
>>> print(script.transform(x))
HELLO PYTHON...
>>> 

创建hello.c

在工程中添加一个新文件，命名为hello.c。复制下面内容。

//
// C code runs Python code in this module in embedded mode.
// print hello string
// 
// www.moguf.com  2016-05-28
//

#include <python.h>

int main()
{
    Py_Initialize();

    PyRun_SimpleString("print(‘run python ...‘)");
    PyRun_SimpleString("import script");
    PyRun_SimpleString("print(script.message)");
    PyRun_SimpleString("x = script.message");
    PyRun_SimpleString("print(script.transform(x))");

    Py_Finalize();
}

运行程序

在程序最后下个断点，方便查看运行结果。直接运行程序可以看到下面结果。

run python ...
hello life...
HELLO PYTHON...

基本调用流程解析

使用C程序运行Python脚本代码，可以通过使用Python字符串，调用Python对象或模板之类的所有操作。

流程：
1、初始化Python解析器
2、执行Python代码，字符串，对象或模块。
3、关闭Python解析器。

上面代码嵌入过程很容易。但在实际使用中想要更好的整合，须要了解提供的API和不同语言之间的转换。

Python嵌入C的基础API

下面几个基础API，在C中能很容易的执行Python脚本中的代码。包括字典、数组和对象。当然想要更好的混合交互须要熟悉所有的API。

C API 调用	Python 对应
PyImport_ImportModel	import module
PyImport_ReloadModule	reload(module)
PyImport_GetModuleDict	module.__dict__
PyDict_GetItemString	dict[key]
PyDict_SetItemString	dict[key] = value
PyDict_New	dict = {}
PyObject_GetAttrString	getattr(obj, attr)
PyObject_SetAttrString	setattr(obj, attr, val)
PyObject_CallObject	funcobj(*argstuple)
PyEval_CallObject	funcobj(*argstuple)
PyRun_String	eval(exprstr) , exec(stmtstr)
PyRun_File	exec(open(filename().read())

建议： 去官网下载一个手册，方便查看API。https://docs.python.org/3/download.html

2.2、使用C扩展Python

2.1的内容只是通过C程序调用Python脚本，要让Python脚本能调用C代码，就须要扩展。用C扩展Python功能那就简单很多。有很多实例可以参考。Python源代码就是宝库。

创建扩展工程 hello

在VS中创建一个空的动态库hello工程（先不要改名）。在工程配置中增加搜索路径。

在VS生成时有些特殊。生成的后缀选择.pyd主要是为防止和系统.dll产生冲突。

在工程选项界面中设置工程输出名称为$(ProjectName)_d，输出扩展名称为.pyd。

并在Linker页面Input组中设置库依赖为python35_d.lib

不同的编译模式的设置：
Release 下使用的依赖库为pythonXY.lib
Debug 下使用依赖库为 pythonXY_d.lib

注意：
debug 模式生成应为 hello_d.pyd
release 模式生成应为 hello.pyd

创建hello.c扩展代码

在工程中新建hello.c文件，复制下面内容。

//
// A simple C extension module for python, called "hello"
// 
// www.moguf.com  2016-05-28
//

#include <python.h>
#include <string.h>

//
// module functions
//
static PyObject *                                 // returns object
message(PyObject *self, PyObject *args)           
{                                                 
    char *fromPython, result[1024];
    if (!PyArg_Parse(args, "(s)", &fromPython))  // convert Python -> C 
        return NULL;                             //  exception null = raise 
    else {
        strcpy(result, "Hello , ");                // build up C string
        strcat(result, fromPython);               // add passed Python string 
        return Py_BuildValue("s", result);        // convert C -> Python 
    }
}

//
// registration methods table 
static PyMethodDef hello_methods[] = {
    { "message",  message, METH_VARARGS, "func doc" },    // format: name, &func, fmt, doc 

    { NULL, NULL, 0, NULL }                               // end
};

// module definition structure
static struct PyModuleDef hellomodule = {
    PyModuleDef_HEAD_INIT,
    "hello",         // module name
    "mod doc",       // module documentation,
    -1,              
    hello_methods    // methods table
};

//
// module initializer
PyMODINIT_FUNC
PyInit_hello()                         
{                                      
    return PyModule_Create(&hellomodule);
}

上面的代码主要分为四块。

第一块： 模块功能实现函数
第二块： 注册功能函数
第三块： 定义模块申明
第四块： 初始化模块。动态加载就不需要这块内容，集成时会使用动态加载。

通过上述定义为Python脚本调用提供访问入口，这就是通常所说的胶水代码。具体定义直接看代码注释，就不啰嗦了。

这里须要注意的是定义中的名称hello。在第三块模型注册的时候是名称为hello、第四块中函数的初始化名称PyInit_hello()。在python3中的名称规定比较严格，初始化函数名称格式为PyInit_xxx, xxx为注册的模块名称。

即对Python扩展工程中的工程名称，注册名称和初始化名称须要保持一致。

编译测试运行

编译hello工程（debug版本），在Python调试版本下运行。python调试环境使用python_d命令进入。

可以看到下面结果，就说明OK了

Microsoft Windows [版本 6.1.7601]
版权所有 (c) 2009 Microsoft Corporation。保留所有权利。

C:\Users\CrystalIce>cd /d D:\Dev\MySimple\pythoninc\Debug

D:\Dev\MySimple\pythoninc\Debug>dir
 驱动器 D 中的卷是 Docs
 卷的序列号是 0002-2203

 D:\Dev\MySimple\pythoninc\Debug 的目录

2016-05-28  23:10    <dir>          .
2016-05-28  23:10    <dir>          ..
2016-05-28  23:10               639 hello_d.exp
2016-05-28  23:10           247,520 hello_d.ilk
2016-05-28  23:10             1,718 hello_d.lib
2016-05-28  23:10           503,808 hello_d.pdb
2016-05-28  23:10            35,840 hello_d.pyd
               5 个文件        789,525 字节
               2 个目录 27,394,551,808 可用字节

D:\Dev\MySimple\pythoninc\Debug>python_d
Python 3.5.0 (default, Nov  4 2015, 21:57:44) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import hello
>>> print(hello.message(‘C‘))
Hello , C
>>> print(hello.message(‘module ‘ + hello.__file__))
Hello , module D:\Dev\MySimple\pythoninc\Debug\hello_d.pyd
>>>

如果在运行调试中出现下面情况，是Python找不到hello模块导致的。

>>> import hello
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named ‘hello‘

大致原因：

编译的模块名称有问题，加载不到模块。Python在debug环境下会调用 xxx_d.pyd，release下会调用 xxx.pyd。

创建hellouse.py 调用hello扩展模块

在工程中新建一个hellouse.py，用于调度hello扩展模块。

注意： 编码设置为UTF-8

内容如下：

"""
import and use a C extension library module
www.moguf.com 2016-05-28
"""

import hello

print(hello.message(‘C‘))
print(hello.message(‘module ‘ + hello.__file__))

把这个脚本复制到hello_d.pyd扩展库所在目录，并执行 。可以看到和刚才测试输出的结果是一致的。

D:\Dev\MySimple\pythoninc\Debug>python_d hellouse.py
Hello , C
Hello , module D:\Dev\MySimple\pythoninc\Debug\hello_d.pyd

相关编译问题：
如果自己建的工程编译或调试，老出现状况。可以直接使用Python提供的PC\example_ntVS示例工程作为参考。

2.3、集成Python，实现双工

先前的的两个示例都是单方面调用，c调用Python 和 Python调用c的扩展模型。并没有交互。在实际工程中不太可能有这种情况，一定是相互交叉调用。

创建duplex工程

在VS中创建一个空的控制台程序，并设置Python代码搜索路径，参照2.1。

创建duplex.c 文件

这个原文件包括了脚本调用和胶水代码的实现。和2.1、2.2的内容基本一致。其中主要的差异在Python模块的注册上

PyImport_AppendInittab("hello_api", &PyInit_hello_api);

实际对外注册的模块在程序启动时执行，并没有作导出。

文件内容如下。

//
// c API module, test c embedding and extending
// 
// www.moguf.com 2016-05-29
//

#include <python.h>
#include <string.h>

void helloWorld(char *param)
{
    if (param)
        printf("It‘s c, hello %s", param);
    else 
        printf("It‘s c, hello ");
}

static PyObject *
message(PyObject *self, PyObject *args)
{
    char *fromPython;
    if (!PyArg_Parse(args, "(s)", &fromPython))
        helloWorld(NULL);
    else
        helloWorld(fromPython);

    return Py_BuildValue("");
}

static PyMethodDef hello_methods[] = {
    { "message",  message, METH_VARARGS, "func doc" },

    { NULL, NULL, 0, NULL }                               // end
};

static struct PyModuleDef hello_api = {
    PyModuleDef_HEAD_INIT, 
    "hello_api",         
    "mod doc", 
    -1,
    hello_methods
};

static PyObject*
PyInit_hello_api(void)
{
    return PyModule_Create(&hello_api);
}

int main(int argc, char** argv)
{
    PyObject* module;
    PyObject* func;

    // add c api to modules
    PyImport_AppendInittab("hello_api", &PyInit_hello_api);

    Py_Initialize();
    if (!Py_IsInitialized()) {
        PyErr_Print();
        printf("Couldn‘t init python");
        return -1;
    }

    module = PyImport_ImportModule("plugins");
    if (module) {
        func = PyObject_GetAttrString(module, "helloWorld");
        if (func && PyCallable_Check(func)) {
            PyObject* pArgs = NULL;
            PyObject* pReturnVal = PyObject_CallObject(func, pArgs);
        }
        else {
            PyErr_Print();
            printf("error: no func\n");
        }

        Py_XDECREF(func);
        Py_DECREF(module);
    }
    else {
        PyErr_Print();
        printf("err: no module");
    }

    Py_Finalize();
    return 0;
}

创建脚本plugins.py

内容如下

"""
Module to test c embedding and extending
www.moguf.com 2016-05-29
"""

import hello_api

def helloWorld():
    print("it‘s Python, Hello C")
    hello_api.message(‘python‘)
    return

运行测试

在 main函数结束的位置设置断点，这用方便查看结果。运行程序。

it‘s Python, Hello C
It‘s c, hello python

可以看到，第一行打印是由Python脚本实现输出，第二行是由python调用程序的API实现打印输出。

3、后续

通过上述简单的三个实例实现了c语言和Python脚本的集成。简单、直接和快速的在不同语言直接调度切换控制。

由于Python开始时本身就是基于C写的，所有对c的支持是非常好的。能在c/c++中很方便的进行集成。不过要想更好的实现脚本和C进行交互，那就须要熟悉并使用提供的API。

后续将会使用Python脚本作为插件扩展一种模式，在实际工程中实现业务的一些方案。

相关参考：
1、官方帮助 https://docs.python.org/3/
2、源代码：https://github.com/cmacro/simple/tree/master/pythoninc