浅析MicroPython系统底层回调机制

Posted 2021-06-27 HaaS技术社区

嵌入式开发中，多数外设接口的事件通知都是通过回调函数实现的，这体现在Timer，UART，GPIO等外设。部分模块的状态通知也是通过回调实现的，比如网络状态。

常规的基于C语音的开发，ISR（中断回调函数）工作在系统进程/线程的上下文，回调通知机制容易控制。但是在MicroPython中，python应用工作在虚拟机进程的上下文，中断回调函数发生在C底层进程的上下文，C进程同python虚拟机进程是相互隔离的，所以直接的调用是不通的。
 

MicroPython提供了两种方式实现C底层进程到Python虚拟机进程的通信，实现了底层回调函数到Python应用层的通知。

接下来我们以Timer模块为例，详细分析两种回调机制的原理，以便大家扩展自己的模块到MicroPython系统中，共同丰富发展python轻应用生态。

 

1、创建ISR线程虚拟化环境

创建并初始化ISR线程虚拟化环境，以便ISR线程能获得跟Python虚拟机进程相同的上下文。
 

//1 获取并保存当前虚拟机线程状态
void *old_state = mp_thread_get_state();



//2 分配并设置ISR线程的状态信息，后续初始化均作用在该线程状态上
mp_state_thread_t ts;
mp_thread_set_state(&ts);


//3 初始化ISR新虚拟机线程的堆栈指针, +1表示在跟指针扫描中需要包含ts信息
mp_stack_set_top(&ts + 1);


//4 根据ISR线程的堆栈大小设置新线程虚拟机堆栈大小，堆栈大小依赖于ISR线程堆栈，在不同的模块中该值会
//  有所变化。(痛点1)
mp_stack_set_limit(1024);


//5 传递当前虚拟机线程本地和全局状态信息到新创建线程中
mp_locals_set(mp_locals_get());
mp_globals_set(mp_globals_get());


//6 禁止虚拟机线程调度，防止虚拟机切换到其他MicroPython线程
mp_sched_lock();


//7 屏蔽内存分配
gc_lock();


//8 执行MicroPython APIs回调，完成C底层到Python应用层回调 (痛点2)
mp_call_function_1_protected(callback, MP_OBJ_FROM_PTR(arg));


//9 使能内存分配
gc_unlock();


//10 使能虚拟机线程调度
mp_sched_unlock();


//11 恢复虚拟机线程状态到第一步保存的状态
mp_thread_set_state(old_state);

由ISR层调用到Python线程共计需要11步才能完成，并且存在两处痛点：

• 第4步需要评估ISR线程的堆栈大小来设置新线程虚拟环境的堆栈，不容易实现。
• 第8步需要根据ISR的回调参数数目确定函数调用，当有更多的回调参数时，需要把多个参数转换成字典变量进行回调。目前MicroPython提供两个回调函数：
   

mp_obj_t mp_call_function_1_protected(mp_obj_t fun, mp_obj_t arg);

mp_obj_t mp_call_function_2_protected(mp_obj_t fun, mp_obj_t arg1, mp_obj_t arg2);

可以看出，上述方法虽然能够实现ISR到Python应用层的回调，但是需要11步才能完成且新线程的堆栈大小不容易评估。

是否可以考虑一种新的机制呢？在ISR线程把Python应用层传过来的回调函数句柄注入到虚拟机环境，ISR线程仅需要通知Python主线程，在Python主线程查询并实现回调函数，如此则不需要创建新虚拟线程。这就引入第二种回调机制：Looper-Handler模式。

 

2、Looper-Handler模式

MicroPython提供了mp_sched_schedule函数，允许ISR注册回调函数到虚拟机环境中。

Python主线程在解析执行py代码的时候，在不同的状态下检查虚拟机调度状态，进而判决是否需要执行回调函数。
 

bool MICROPY_WRAP_MP_SCHED_SCHEDULE(mp_sched_schedule)(mp_obj_t function, mp_obj_t arg) {

    mp_uint_t atomic_state = MICROPY_BEGIN_ATOMIC_SECTION();

    bool ret;

   

    //1 检查调度队列是否已满，队列未满的情况下才可以继续注入回调函数

    if (!mp_sched_full()) {

        if (MP_STATE_VM(sched_state) == MP_SCHED_IDLE) {

           

            //2 设置调度状态，方便后续虚拟机主线程查询执行

            MP_STATE_VM(sched_state) = MP_SCHED_PENDING;

        }

       

        //3 增加调度队列的索引并注入回调函数

        uint8_t iput = IDX_MASK(MP_STATE_VM(sched_idx) + MP_STATE_VM(sched_len)++);

        MP_STATE_VM(sched_queue)[iput].func = function;

        MP_STATE_VM(sched_queue)[iput].arg = arg;

       

         //4 回调注入成功，返回true

        ret = true;

    } else {

       

        //5 调度队列已满，返回false

        ret = false;

    }

    MICROPY_END_ATOMIC_SECTION(atomic_state);

    return ret;

}

 

MicroPython通过预编译参数MICROPY_SCHEDULER_DEPTH设定调度队列的深度，默认情况下为4。
 

// Maximum number of entries in the scheduler

#ifndef MICROPY_SCHEDULER_DEPTH

#define MICROPY_SCHEDULER_DEPTH (4)

#endif

 

系统封装了MICROPY_EVENT_POLL_HOOK宏定义，在REPL(交互式解释器)模式或其他情形下需要立刻执行回调函数的时候调用该宏，以触发虚拟机线程调用 mp_handle_pending(bool) ，完成对mp_handle_pending_tail函数的调用，最终实现对注入到调度队列函数的回调。
 

#define MICROPY_EVENT_POLL_HOOK \\

    do { \\

        extern void mp_handle_pending(bool); \\

        mp_handle_pending(true); \\

        MICROPY_PY_USOCKET_EVENTS_HANDLER \\

        MP_THREAD_GIL_EXIT(); \\

        MP_THREAD_GIL_ENTER(); \\

    } while (0);

// A variant of this is inlined in the VM at the pending exception check

void mp_handle_pending(bool raise_exc) {

    if (MP_STATE_VM(sched_state) == MP_SCHED_PENDING) {

        mp_uint_t atomic_state = MICROPY_BEGIN_ATOMIC_SECTION();

        // Re-check state is still pending now that we're in the atomic section.

        if (MP_STATE_VM(sched_state) == MP_SCHED_PENDING) {

            mp_obj_t obj = MP_STATE_VM(mp_pending_exception);

            if (obj != MP_OBJ_NULL) {

                ...

            }

            mp_handle_pending_tail(atomic_state);

        } else {

            MICROPY_END_ATOMIC_SECTION(atomic_state);

        }

    }

}

 

在lexer(词法分析器)模式下则会直接调用mp_handle_pending_tail函数实现回调触发，这里我们不做详细的分析，感兴趣的同学可以参考vm.c文件中的mp_execute_bytecode函数实现。
 

// This function should only be called by mp_handle_pending,

// or by the VM's inlined version of that function.

void mp_handle_pending_tail(mp_uint_t atomic_state) {

    MP_STATE_VM(sched_state) = MP_SCHED_LOCKED;

    if (!mp_sched_empty()) {

        mp_sched_item_t item = MP_STATE_VM(sched_queue)[MP_STATE_VM(sched_idx)];

        MP_STATE_VM(sched_idx) = IDX_MASK(MP_STATE_VM(sched_idx) + 1);

        --MP_STATE_VM(sched_len);

        MICROPY_END_ATOMIC_SECTION(atomic_state);

        mp_call_function_1_protected(item.func, item.arg);

    } else {

        MICROPY_END_ATOMIC_SECTION(atomic_state);

    }

    mp_sched_unlock();

}

 

总结

 

至此我们完成了MicroPython中两种不同的C底层到Python应用层回调机制，可以看出第二种方式仅需要调用一个函数即可实现回调注入，极大地方便了开发者。

最后我们贴出Timer模块中ISR函数的示例代码供大家参考。
 

STATIC void driver_timer_isr(void *self_in) {

    driver_timer_obj_t *self = (driver_timer_obj_t*)self_in;

    if (self->callback != mp_const_none) {

        bool ret = mp_sched_schedule(self->callback, MP_OBJ_FROM_PTR(self));

        if(ret == false) {

            printf("[utility]: schedule queue is full !!!!\\r\\n");

        }

    }

}

 

开发者支持

HaaS轻应用(Python)继承了Python易学易用的特点，同时提供了基于嵌入式硬件的基础库封装，让开发者可以很方便的通过交互式的环境，实时进行嵌入式开发，让嵌入式开发也变得简单方便。

如需更多技术支持，可加入钉钉开发者群，享受一对一的技术支持。