乐鑫Esp32学习之旅28 熟悉自定义分区表 partition，拉取阿里云OSS对象存储的单片机/图片等较大文件保存在特定的存储位置，并读取出来做完整性校验，保证数据的完整性。（附带源码）
Posted 半颗心脏
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了乐鑫Esp32学习之旅28 熟悉自定义分区表 partition，拉取阿里云OSS对象存储的单片机/图片等较大文件保存在特定的存储位置，并读取出来做完整性校验，保证数据的完整性。（附带源码）相关的知识，希望对你有一定的参考价值。
- 本系列博客学习由非官方人员 半颗心脏 潜心所力所写，仅仅做个人技术交流分享，不做任何商业用途。如有不对之处，请留言，本人及时更改。
系列一：ESP32系列模组基础学习系列笔记
1、 爬坑学习新旅程，虚拟机搭建esp32开发环境，打印 “Hellow World”。
2、 巧用eclipes编辑器，官方教程在在Windows下搭建esp32开发环境，打印 “Hellow World”。
3、 认识基本esp32的GPIO接口，开始点亮您的第一盏 LED和中断回调实现按键功能 。
4、体会esp32的强大的定时器功能， 实现定时2s闪烁一盏LED灯。
5、接触实践esp32的pwm宽度脉冲功能， 实现呼吸效果闪烁一盏LED灯。
6、smartConfig和微信airKiss在esp32的实现，一键配网轻松快捷连接路由器。
7、利用GPIO中断做一个按键的短按和长按的回调事件，再也无须担心触发源。
8、esp32上实现本地 UDP 客户端和服务端角色，在局域网内实现通讯。
9、esp32上实现本地 TCP 客户端和服务端角色，可断线重连原路返回数据。
10、乐鑫esp32 SDK编程利用rmt驱动ws2812七彩灯，实现彩虹渐变效果。
11、入门 乐鑫esp-adf 音频框架开发，esp32造一个蓝牙耳机，实现切换歌曲，获取歌曲信息等功能。
12、开源一个微信公众号airkiss配网esp32以及局域网发现功能的工程，分享一个airkiss配网小工具。
13、esp32 内置 dns 服务器，无需外网访问域名返回指定网页。
14、esp32 sdk编程实现门户强制认证，连接esp32热点之后，自动强制弹出指定的登录界面。
15、认识本地离线语音唤醒识别框架 esp-skainet ，实现较低成本的硬件语音本地识别控制。
16、学习本地语音唤醒离线识别框架 esp-skainet ，如何修改唤醒词? 如何自定义命令词？如何做意图动作？
17、全网首发，乐鑫esp32 sdk直连京东微联·小京鱼 · IoT开放平台，实现叮咚音响语音智能控制。
18、入门京东微联·小京鱼的控制面板H5开发，读懂vue语法，做自己的控制页面。
19、重磅开源，如何在微信小程序上ble蓝牙配网esp32，blufi的那些事！
20、一篇好文，开发过程中编译esp32固件太大，无法正常启动？教你如何自定义分区表partitions.csv。
21、 esp32蓝牙配网blufi的高度封装，集成简单、使用简单、容易上手，提高开发效率！
22、讨论下程序员 “青春饭” 那些事，分享在esp32实现多种加密算法md5 |AES CBC-ECB| Sha1 | Sha256 等！
23、安信可 esp32-a1s 音频开发板移植最新 esp-adf 音频框架，小试牛刀如何实现在线文字转语音播放。
25、分享在 esp32 SDK实现冷暖光色温平滑调节的封装，轻松集成到您的项目去。
26、分享下如何在window下使用CMake编译，编译速度提高传统 make 编译一个档次，支持 ESP32 和 ESP32-C3。
27、windows10平台下自带的Linux安装 ESP8266/ESP32 环境，再无需额外安装虚拟机了。
28、熟悉自定义分区表 partition，拉取阿里云对象存储的单片机/图片等较大文件保存在特定的存储位置，并读取出来做完整性校验。
系列二：ESP32-Camera 摄像头开发板系列笔记
1、安信可 ESP32-Cam 摄像头开发板二次开发 C SDK编程，实现MQTT远程拍照传输到私有服务器。
2、安信可 ESP32-Cam 摄像头开发板二次开发 C SDK编程，实现本地视频流监控。
3、安信可 ESP32-Cam 摄像头开发板二次开发 C SDK编程，拍照图片通过有线串口传到上位机PC端。
系列三：ESP32-C3 模组系列笔记
1、【蓝牙Mesh笔记 ①】ESP32-C3 模组上实现天猫精灵蓝牙 BLE Mesh AliGenie 接入，无需WiFi 连接也可以实现天猫精灵语音控制。
系列四：ESP32-S3 模组系列笔记
1、安信可 ESP32-S3 模组上驱动摄像头 OV2640，实现远程拍照并 HTTP 传输到阿里云对象存储OSS，并显示在微信小程序上。。
系列四：ESP32模组系列笔记 LVGL LittlevGL
1、【LittlevGL ESP32 学习笔记 ①】移植最新的 LVGL 到安信可ESP32\\C3模组，显示一个二维码。
文章目录
一、前言
在开发一些模组+单片机MCU项目发现 ，在使用WiFi模组在开发对接MCU时候，MCU（比如STM32）的固件需要OTA升级时候，但是我们商用经常会遇到这样的问题：
1）希望WiFi模组能拉取MCU的固件时候，并且校验此固件的完整性，可对比MD5数值。
2）希望WiFi模组能拉取完整MCU固件后，再读取出去通过UART/SPI形式发送给MCU。
抑或，我在开发项目时候，因某些原因需要更新本地文件，比如HTTPS的域名证书，都是需要把网络上的较大文件保存在特定的存储位置，并且读取出来做完整性校验，进一步使用。
所以，这一期的代码分享，就带给大家了。愿大家平时摁住急功近利的心，成功需要厚积薄发，做技术也是如此。
整体逻辑思维
二、开发中所需掌握的知识点
1）自定义分区表
既然要保存文件，那么就需要自行处理FLASH里面的分区情况了，我之前的文章也提到这点：
开发过程中编译esp32固件太大，无法正常启动？教你如何自定义分区表partitions.csv。
上述只是针对运行的固件大小说明，那么我们如何自定义存储文件的位置大小呢？先看我定义的分区表：
# Name, Type, SubType, Offset, Size, Flags
# Note: if you change the phy_init or app partition offset, make sure to change the offset in Kconfig.projbuild
nvs, data, nvs, 0x9000, 0x4000
otadata, data, ota, 0xd000, 0x2000
phy_init, data, phy, 0xf000, 0x1000
ota_0, 0, ota_0, 0x10000, 0xF0000
ota_1, 0, ota_1, 0x110000,0xF0000
custom_data, 0x40, 0, , 1024K,
主要的分区表说明，见官方文档：https://docs.espressif.com/projects/esp-idf/zh_CN/v4.3.1/esp32/api-guides/partition-tables.html
分区表中的每一列都有名字，类型（app，data或者其他），子类型，在 flash 中的偏移量（分区的加载地址）和对应的大小。通过名字（Name），类型（Type）和子类型（SubType）就可以读写相应的模块。
Name
Name 字段可以是任何有意义的名称，但不能超过 16 个字符（之后的内容将被截断），该字段对 ESP32 并不是特别重要。
Type
Type 字段可以指定为 app (0) 或者 data (1)，也可以直接使用数字 0-254（或者十六进制 0x00-0xFE）。注意，0x00-0x3F 是预留给 esp-idf 的核心功能，如果应用程序需要保存数据，需要在 0x40-0xFE 内添加一个自定义分区类型。
SubType
SubType 字段长度为 8 bit，内容与具体 Type 有关，具体可以参考 ESP-IDF SubType。
offset & size
分区若为指定偏移地址，则会紧跟着前一个分区之后开始。若此分区为首个分区，则将紧跟着分区表开始。
对于 ESP32， app 分区的偏移地址必须 64K(0x10000) 对齐，对于 ESP8266，app 分区的偏移地址必须要与 0x1000 (4K) 对齐。
app 分区的大小和偏移地址可以采用十进制数、以 0x 为前缀的十六进制数，且支持 K 或 M 的倍数单位（分别代表 1024 和 1024*1024 字节）。
2）代码中读取自定义分区表的内容
具体也可以参考：examples/storage/partition_api/partition_ops 具体的例程，下面我也注释了下。
void app_main(void)
/*
* This example uses the partition table from ../partitions_example.csv. For reference, its contents are as follows:
*
* nvs, data, nvs, 0x9000, 0x6000,
* phy_init, data, phy, 0xf000, 0x1000,
* factory, app, factory, 0x10000, 1M,
* storage, data, , , 0x40000,
*/
// 在分区表找到自定义map的信息，这里是通过 Type这个字段来获取，当然了，你也可以通过SubType获取。
const esp_partition_t *partition = esp_partition_find_first(ESP_PARTITION_TYPE_DATA, ESP_PARTITION_SUBTYPE_ANY, "storage");
assert(partition != NULL);
static char store_data[] = "ESP-IDF Partition Operations Example (Read, Erase, Write)";
static char read_data[sizeof(store_data)];
// 先擦除 分区
memset(read_data, 0xFF, sizeof(read_data));
ESP_ERROR_CHECK(esp_partition_erase_range(partition, 0, partition->size));
// 开始写入数据
ESP_ERROR_CHECK(esp_partition_write(partition, 0, store_data, sizeof(store_data)));
ESP_LOGI(TAG, "Written data: %s", store_data);
// 读取数据，同时检查对比和写入数据的完整性
ESP_ERROR_CHECK(esp_partition_read(partition, 0, read_data, sizeof(read_data)));
assert(memcmp(store_data, read_data, sizeof(read_data)) == 0);
ESP_LOGI(TAG, "Read data: %s", read_data);
ESP_LOGI(TAG, "Example end");
3）数据完整性校验？
在提出这个问题时候，我们必须知道这个从flash的数据和谁对比？我们在通过HTTP请求时，服务器会在 header 返回关于下载文件的完整性数据，比如MD5、Sha256等，以阿里云OSS对象存储为例，是返回这个文件的MD5数值的。
所以，我们本地下载了文件之后做一个MD5数值，然后对比阿里云返回的文件MD5数值，这样就校验了数据的完整性了。另外还可以对比数据的长度。
下面是请求阿里云OSS对象存储的文件的Header内容（不懂HTTP协议的自行百度），可看到有 Content-MD5:这个字段，我们拿到了这个之后，Base64解码就是二进制的MD5数值了，以及Content-Length字段。
Accept-Ranges: bytes
Connection: keep-alive
Content-Length: 247817
Content-MD5: BQUk+5KwFdJgPXLrGuQWtQ==
Content-Type: image/png
Date: Sun, 13 Mar 2022 01:37:53 GMT
ETag: "050524FB92B015D2603D72EB1AE416B5"
Last-Modified: Wed, 04 Mar 2020 14:20:02 GMT
Server: AliyunOSS
x-oss-hash-crc64ecma: 16969763075689951783
x-oss-object-type: Normal
x-oss-request-id: 622D4AF1DDEEC0303061A889
x-oss-server-time: 6
x-oss-storage-class: Standard
<contents>
三、代码走读
这里，只分享关键的代码块，不做整个代码的走读，源码获取方法在文章底部。
3.1 获取阿里云的文件头部信息
获取了阿里云的文件头部信息之后， 主要针对的是 Content-MD5和 Content-Length
这2个字段的数值。
case HTTP_EVENT_ON_HEADER:
ESP_LOGI(TAG, "HTTP_EVENT_ON_HEADER, key=%s, value=%s", evt->header_key, evt->header_value);
//解析到了Header的Content-MD5数值
if (strcmp(evt->header_key, "Content-MD5") == 0)
ESP_LOGI(TAG, "HTTP Get Header MD5, key=%s, value=%s", evt->header_key, evt->header_value);
size_t len;
int dst_buf_size = 100;
p_header_md5_value = malloc(dst_buf_size);
// 获取了之后， base64解码这个数值，就得到了具体的MD5数值了
int result = mbedtls_base64_decode(p_header_md5_value, dst_buf_size, &len, (unsigned char *)(evt->header_value), strlen((char *)(evt->header_value)));
if (result != 0)
ESP_LOGE(TAG, "fail mbedtls_base64_decode");
//解析到了Header的Content-Length数值
else if (strcmp(evt->header_key, "Content-Length") == 0)
Content_Length = atoi((evt->header_value));
ESP_LOGI(TAG, "HTTP Get Content-Length, key=%d, value=%s", Content_Length, evt->header_value);
break;
3.2 下载数据到flash
这里下载数据到flash，以及边做MD5校验 。
while (1)
int data_read = esp_http_client_read(client, upgrade_data_buf, FLASH_SECTOR_SIZE);
if (data_read == 0)
ESP_LOGI(TAG, "Connection closed,all data received");
break;
if (data_read < 0)
ESP_LOGE(TAG, "Error: SSL data read error");
break;
if (data_read > 0)
ESP_LOGI(TAG, "Written image offAdress %d , length :%d", binary_file_len, FLASH_SECTOR_SIZE);
//注意先擦，必须以 1K 扇区的倍数去擦
if (esp_partition_erase_range(find_partition, binary_file_len, FLASH_SECTOR_SIZE) != ESP_OK)
ESP_LOGE(TAG, "Erase partition error");
//开始写入
if (esp_partition_write(find_partition, binary_file_len, (unsigned char *)upgrade_data_buf, data_read) != ESP_OK)
ESP_LOGE(TAG, "Write partition data error");
//同时把写入的数据做MD5校验
mbedtls_md5_update(&md5_ctx, (unsigned char *)upgrade_data_buf, data_read);
binary_file_len += data_read;
ESP_LOGE(TAG, "------------------------------");
ESP_LOGE(TAG, "Get local rev buff MD5 : ");
esp_log_buffer_hex(TAG, md5, 16);
ESP_LOGE(TAG, "Get server buff MD5 : ");
esp_log_buffer_hex(TAG, p_header_md5_value, 16);
ESP_LOGE(TAG, "------------------------------");
//校验MD5是否一致
if (0 == memcmp(md5, p_header_md5_value, sizeof(&p_header_md5_value)))
// MD5校验成功
ESP_LOGI(TAG, "MD5 verify success\\r\\n");
else
// MD5校验失败
ESP_LOGE(TAG, "MD5 verify fail\\r\\n");
3.3 从flash读取数据做校验
从flash读取数据做校验，思路：
1）我要每次 4KB 读取数据，先把整个数据的长度除于4096，得到读取的总次数；
2）最后一次可能不到 4KB ，所以当达到最后一次获取数据时候， 判断剩下 buff 多少，再去读取。否则，会读取多余的数据。
//把总的文件大小除于每次取出来的大小，得到取出次数
int length = binary_file_len / FLASH_SECTOR_SIZE;
ESP_LOGI(TAG, "MD5 binary_file_len: %d %d ", FLASH_SECTOR_SIZE, length);
for (int rd_offset = 0; rd_offset < binary_file_len; rd_offset += FLASH_SECTOR_SIZE)
//判断为最后一次，则获取剩余的buff
if (++i > length)
int offLength = binary_file_len - rd_offset;
ESP_ERROR_CHECK(esp_partition_read(find_partition, rd_offset, flash_read_buff, offLength));
mbedtls_md5_update(&md5_ctx, (unsigned char *)flash_read_buff, offLength);
else
ESP_ERROR_CHECK(esp_partition_read(find_partition, rd_offset, flash_read_buff, FLASH_SECTOR_SIZE));
mbedtls_md5_update(&md5_ctx, (unsigned char *)flash_read_buff, FLASH_SECTOR_SIZE);
mbedtls_md5_finish(&md5_ctx, md5);
ESP_LOGE(TAG, "------------------------------");
ESP_LOGE(TAG, "Get local save buff MD5 : ");
esp_log_buffer_hex(TAG, md5, 16);
ESP_LOGE(TAG, "Get server buff MD5 : ");
esp_log_buffer_hex(TAG, p_header_md5_value, 16);
ESP_LOGE(TAG, "------------------------------");
//校验MD5是否一致
if (0 == memcmp(md5, p_header_md5_value, sizeof(&p_header_md5_value)))
// MD5校验成功
ESP_LOGI(TAG, "MD5 verify success\\r\\n");
else
// MD5校验失败
ESP_LOGE(TAG, "MD5 verify fail\\r\\n");
源码免费获取：https://github.com/xuhongv/StudyInEsp32/tree/master/26_esp32_s2_s3_https_save_get_file
另外，不要把我的博客作为学习标准，我的只是笔记，难有疏忽之处，如果有，请指出来，也欢迎留言哈！
- 玩转无线物联网带你飞、免费加千人群讨论，群里众多国内ESP开发者，找到你一份归属，免费白嫖。
- QQ讨论一群，点击加群：434878850
- QQ讨论二群，点击加群：623325168
- 个人微信公众号：徐宏blog ， 不定时推送干货文章，不推送任何广告。
- 个人邮箱：xuhongv@yeah.net 24小时在线，有发必回复！
- esp8266源代码学习汇总（持续更新，欢迎star）：https://github.com/xuhongv/StudyInEsp8266
- esp32源代码学习汇总（持续更新，欢迎star）：https://github.com/xuhongv/StudyInEsp32
- 关注下面微信公众号二维码，干货多多，第一时间推送！
以上是关于乐鑫Esp32学习之旅28 熟悉自定义分区表 partition，拉取阿里云OSS对象存储的单片机/图片等较大文件保存在特定的存储位置，并读取出来做完整性校验，保证数据的完整性。（附带源码）的主要内容，如果未能解决你的问题，请参考以下文章
乐鑫Esp32学习之旅28 熟悉自定义分区表 partition，拉取阿里云OSS对象存储的单片机/图片等较大文件保存在特定的存储位置，并读取出来做完整性校验，保证数据的完整性。（附带源码）
乐鑫Esp32学习之旅28 熟悉自定义分区表 partition，拉取阿里云OSS对象存储的单片机/图片等较大文件保存在特定的存储位置，并读取出来做完整性校验，保证数据的完整性。（附带源码）
乐鑫Esp32学习之旅28 分享在 esp32 SDK实现驱动 Flash W25Q32 的封装，扩大容量存储更多的资源。（开源源码工程）。
乐鑫Esp32学习之旅28 分享在 esp32 SDK实现驱动 Flash W25Q32 的封装，扩大容量存储更多的资源。（开源源码工程）。
乐鑫Esp32学习之旅28 分享在 esp32 SDK实现驱动 Flash W25Q32 的封装，扩大容量存储更多的资源。（开源源码工程）。
乐鑫Esp32学习之旅28 分享在 esp32 SDK实现驱动 Flash W25Q32 的封装，扩大容量存储更多的资源。（开源源码工程）。