您如何在内存非常有限的嵌入式系统上处理大数据传输？

Posted 2023-02-16

【中文标题】您如何在内存非常有限的嵌入式系统上处理大数据传输？

【英文标题】：How do you handle large data transfers on very memory constrained, embedded systems?

【发布时间】：2010-09-26 11:05:07

【问题描述】：

我有一个微控制器，它必须从 PC 串行端口（115200 波特）下载一个大文件，然后通过 SPI（~2 MHz）将其写入串行闪存。闪存写入必须在 256 字节块中，前面有写入命令和页面地址。系统上可用的总 RAM 为 1 kB，堆栈大小为 80 字节。

当前的工作方式是从 UART 填充一个 256 字节的缓冲区，然后在写入繁忙的闪存时，通过 RX 缓冲区就绪信号上的中断填充另一个 256 字节的缓冲区。重复缓冲区交换，直到操作完成。

我更愿意为在单独的循环缓冲区上运行的 SPI 和 UART 端口设置 TX/RX 中断处理程序。因此，我可以简单地填充 TX 缓冲区并启用中断或检查缓冲区是否有传入数据，而不是轮询新字节并等待操作完成。这将为实际工作提供更多时钟周期，而不是等待外围设备。

在使用 128 字节循环缓冲区实现 IRQ 后，我轮询 UART RX 缓冲区中的数据并立即将其放入 SPI TX 缓冲区以进行文件传输。我使用这种方法遇到的问题是我没有足够的 RAM 用于缓冲区，并且 PC 接收缓冲区的填充速度比我将数据传输到闪存传输缓冲区的速度要快。显然，传输速度不是问题（115.2 kHz 输入和 2 MHz 输出），但每个 256 字节页面传输后都有一个写周期等待。

---

似乎频繁的 SPI 中断阻塞了一些 UART 中断并导致字节丢失。我选择的解决方案是为 UART 接收中断使用一个环形缓冲区，并将数据馈送到一个 256 字节的页面缓冲区，该缓冲区通过轮询字节传输和写入完成来发送到串行闪存。一个 128 的环形缓冲区足够大，可以防止 SPI 写入期间的溢出。

【参考方案1】：

我会在 PC 上做一些类似分散收集的事情。像这样创建一个结构体的链表：

typedef struct data_buffer 
    char flags;
    char[128] data;

标志中的一位表示“ReadyToFlash”，另一位表示“Flashing”。您应该能够调整链表中的缓冲区数量，以防止闪存在写入时捕获 UART，反之亦然。

如果闪存到达不是“ReadyToFlash”的缓冲区块，它将停止，您需要让您的 UART IRQ 重新启​​动它。如果 UART 到达“ReadyToFlash”或“Flashing”的块，它填充得太快，您可能需要另一个缓冲区，如果您有动态内存，您可以在运行时进行此调整并动态添加一个缓冲区到列表中，否则你只需要做一些经验测试。

【讨论】：

请注意，1 kB（1024 字节）的 RAM 不允许有很多缓冲区！尽管如此，这是个好主意。

没错，虽然您也可以尝试调低缓冲区的大小（可能是 64b），但标志的开销开始影响您的内存效率。

我会使用单个标志变量，每个缓冲区都有咬痕。

这也带来了一个好处，即我一直在尝试在不修改 ISR 以更改处于此传输状态时的行为的情况下执行此操作。

【参考方案2】：

不确定我在这里遗漏了什么，但如果事实是来自 PC 的数据的平均速率高于您可以将其写入闪存的平均速率，那么您要么需要一个大量 RAM，否则您将需要流量控制。

但是你是说当你有块缓冲区时它可以工作，但现在你有字节缓冲区就不行了？

您能否坚持使用由 UART RX 中断填充的块缓冲区，当每个缓冲区已满时，将其交给 SPI/Flash 代码以使用 SPI 中断清空该缓冲区？这将节省您复制每个字节的时间，并且不必为每个字节执行两次循环缓冲区逻辑，您只需为每个块执行此操作。

【讨论】：

传输后页面写入的等待周期是瓶颈。我在问题中添加了该信息。

我可以让它与 UART 上的 128 字节循环缓冲区和 256 字节中间缓冲区一起工作，并忙于对 SPI 进行写入/轮询。没有 256 中介的 128 字节缓冲区不起作用。

【参考方案3】：

这正是创建流量控制的目的，我知道设置它是一个巨大的痛苦，但如果您在串行线路上启用流量控制，您的问题将成为历史。

我假设您正在传输二进制文件，因此 XON-XOFF 不是最好的解决方案，它会留下硬件流控制。

另一种选择是使用带有内置流量控制的协议，例如 XModem。我有一个类似的嵌入式项目，其中闪存写入 128 字节页面。 XModem 以 128 字节的块发送数据然后在发送下一个 ACK​​ 之前等待 ACK，这真是巧合。

【讨论】：

我过去曾使用过 XModem，并为它准备了代码。但是，我签订了一份合同，无法更改 PC 客户端（它只会一次性输出整个文件）。

【参考方案4】：

应用程序的 UART 和 PC 端是否支持 RS-232 握手（流量控制）？如果是这样，当您的接收缓冲区接近满时，让 ISR 删除 CTS 线 - 如果 PC 端配置为尊重硬件流控制，它应该在看到这种情况时停止发送。一旦你耗尽（或几乎耗尽）接收缓冲区，再次断言 CTS，PC 应该再次开始发送。

请注意，这会使嵌入式设备上的软件变得相当复杂 - 您是否愿意做出权衡，必须由您和您的经理和团队进行分析。

【讨论】：

这实际上是通过 USB 接口发生的，并且这些信号不可用。不过这是个好建议。