FPGA解码4K分辨率4line MIPI视频 OV13850采集 提供工程源码和技术支持

Posted 2023-04-08 9527华安

目录

• 1、前言
• 2、Xilinx官方主推的MIPI解码方案
• 3、纯Vhdl方案解码MIPI
• 4、vivado工程介绍
• 5、上板调试验证
• 6、福利：工程代码的获取

1、前言

FPGA图像采集领域目前协议最复杂、技术难度最高的应该就是MIPI协议了，MIPI解码难度之高，令无数英雄竞折腰，以至于Xilinx官方不得不推出专用的IP核供开发者使用，不然太高端的操作直接吓退一大批FPGA开发者，就没人玩儿了。
本文详细描述了设计方案，工程代码编译通过后上板调试验证，可直接项目移植，适用于在校学生做毕业设计、研究生项目开发，也适用于在职工程师做项目开发，可应用于医疗、军工等行业的数字成像和图像传输领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；
关于MIPI协议，请自行搜索，csdn就有很多大佬讲得很详细，我就不多写这块了；
之前写过一篇文章，FPGA解码4K分辨率4line MIPI视频 OV13850采集，两路输出，输出1是VGA，输出2是HDMI，均为1920x1080；本文的原始参考链接：原始参考链接
本设计实在原始参考基础上修改而来，将原来的VHDL源码进行了IP封装，方便用户使用。

2、Xilinx官方主推的MIPI解码方案

Xilinx官方主推的MIPI解码方案是专用IP核，在vivado的ip仓库里输入MIPI就会看到如下的一堆IP：
Xilinx方案使用很简单，调用IP就行，用SDK配置即可使用，MIPI解码后的数据格式为AXIS，方便与他家的VDMA之类的IP对接，你无须关心复杂的MIPI协议即可畅玩儿MIPI，但问题就来了，如果你用的FPGA不是Xilinx家的怎么办？
关于Xilinx自家的MIPI方案，请参考我之前写的文章；Xilinx的MIPI方案

3、纯Vhdl方案解码MIPI

本方案MIPI解码后的视频时序为VGA时序，即行同步，场同步，数据有效，数据信号；方便后端直接处理；
解串部分使用Xilinx源语，本工程用到的是7系列源语，更高级别的FPGA应用，需要更改源语参数，但问题不大；
一个字：牛逼，表现如下：
1：纯Vhdl代码实现，学习性和阅读性达到天花板；
2：移植性还可以，只要兼容Xilinx解串源语的FPGA均可移植；
3：算法达到天花板，标准的CSI2接收协议实现解码；
4：实用性达到天花板，采用OV13850摄像头作为输入，不同于市面上验证性和实验性的工程，本设计直接面向实用工程，贴近真实项目，MIPI输入，2路视频输出，做类似项目的兄弟可直接拿去用，一个月工资直接拿到手。。。
5：自定义IP封装，方便用户使用；

4、vivado工程介绍

工程架构如下：
开发板：Xilinx Kintex7开发板；
开发环境：vivado2020.2；
输入：OV13850；4line；分辨率3840x2160；
输出：HDMI；分辨率1920x1080；
工程BD如下：

4line MIPI解码模块详解，点击这个+号可展开IP；

展开后的4line MIPI解码模块如下：

4line MIPI解码模块配置界面如下：

bayer转RGB不需要配置；
白平衡图像增强模块配置界面如下：
展开后的图像缓存与缩放解码模块如下：

写控制器模块配置界面如下：

读控制器模块配置界面如下：

工程代码架构如下：

逻辑资源消耗和功耗如下：

5、上板调试验证

输出如下：

6、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

一种RK3399+MIPI+FPGA的高速工业相机的设计方案

目 前 ， 嵌 入 式 相 机 逐 渐 代 替 了 传 统 相 机 进 入 大 众 的 视 野 ， 应 用 在 公 安 刑 侦 、 生 物 医 学和 文 物 保 护 等 诸 多 领 域 。 但 是 随 着 人 们 对 图 像 视 觉 成 像 质 量 追 求 的 提 升 ， 图 像 传 感 器 的 特性 朝 着 高 分辨 率 、 高 灵 敏 度 、 高 像 素 位 宽 的 趋 势 发 展 ， 普 通 的 嵌 入 式 相 机 已 经 不 能 满 足 大数 据 量 、 低 延 迟 性 的 处 理 要 求 。为 此 ， 本 论 文 研 究 设 计 了一种 基 于 ＦＰＧＡ 的 ＭＩ ＰＩ 接 口 嵌 入 式 平 台 相 机 ， 从 图 像 采 集 、
图 像 处 理 和 图 像 传 输 等 方 面 进 行 深 入 研 究 最 终 研 制 出 整 机 。
系 统 前 端 图 像 采 集 方 面 ， 支 持 Ｇｐｉ ｘｅｌ 公 司 的 多 款 图 像 传 感 器 如 ＧＳＥＮＳＥ４ ０ ０Ｂ Ｓ Ｉ 、ＧＳＥＮＳ Ｅ２ ０２ ０ Ｓ 、 ＧＭＡＸ０ ８ ０６ 等 ， 通 过 可 预 配 置 的 模 式 驱 动 图 像 传 感 器 输 出 ＬＶＤ Ｓ 类 型 的数 据 信 号 。 经 过 仔 细 研 究 提 出 的 功 能 板 分 离 式 硬 件 设 计 ， 在 仅 使 用 同一块 图 像 处 理 电 路 板的 条 件 下 可 兼 容 不 同 的 图 像 采 集 电 路 板 ， 保 证 了 系 统 的 完 整 性 ， 有 效 提 高 了 系 统 的 研 发 效率 。系 统 中 间 图 像 处 理 部 分 ， 采 用 了 Ｓｐａｒｔａｎ６ 系 列 的 ＦＰＧＡ 芯 片 ， 研 发 设 计 了 适 配 于Ｓｐａｒｔ ａｎ６ 的 数 据 实 时 解 析 模 块 、 数据 实 时 拼 接 模 块 ， 为 了 实 现 更 好 的 图 像 效 果 ， 在 Ｓｐａｒｔ ａｎ６内 部 还 分 别 集 成 了 三 种 图 像 锐 化 算 法 ： Ｓ ｏｂｅ ｌ 锐 化 、 Ｌ ａｐｌ ａｃ ｅ 锐 化 和 非 锐 化 掩 模 算 法 。 此 外 ，系 统 启 动 模 式 除 了 基 本 的 视 频 模 式 和 图 片 捕 获 模 式 ， 还 支 持 序 列 触 发 模 式 满 足 特 殊环 境 的触 发 需 求 。 同 时 ， 系 统 还 可 通 过 Ｓｐａｒｔａｎ６ 实 时 地 配 置 图 像 传 感 器 的 参 数 和 工 作 模 式 ， 为 自动 曝光 、 图 像 模 式 切 换 等 功 能 提 供 基 本 保 障 。
系 统 后 端 图 像 传 输 部 分 ， 对 于 高 速 数 据 在 不 同 芯 片 间 的 传 输 创 新 性 地 采 用 了 手 机 内 部集 成 的 高 速 ＭＩ ＰＩ 接 口 ， 设 计 了 基 于 Ｃｒｏ ｓ ｓ＿Ｌ ｉ ｎｋ 芯 片 的 接 口 桥 接 转 换 模块 进 行 数 据 类 型 的转 换 ， 并 研 究 提 出 了 在 同一个 ＭＩ ＰＩ 接 口 上 同 时 支 持 不 同 数 据 类 型 传 输 的 方 法 ， 为 后 端 图像 的 传 输 提 供一个 高 速 、 稳 定 的 数 据 流 ， 避 免 系 统 发 生 丟 帧 、 掉 包 的 情 况 。 最 后 ， 数 据 信号 在 ＲＫ３ ３ ９ ９ 开 发 平 台 进 行 接 收 和 显 示 控 制 。最 终 系 统 的 综 合测 试 结 果 表 明 ， 本 系 统 很好 地 体 现 兼 容 性 优 势 ， 基 于 自 主 设 计 的 软 件模 块 可 在 系 统 后 端 显 示 高 质 量 图 像 ， 并 且 能 够 提 供 分 辨 率 为 ｌ 〇 ８ ０ Ｐ ＠ ３ ５ ｆｐ ｓ 的 稳 定 视 频 流 ，为 高 清 视 频 应 用 领 域 提 供 了一个 良 好 的 解 决 方 案。

 华 中 科 技 大 学 设 计 的一款 紫 外 － 可 见 双 光 谱 相 机 ［１ ３ ］， 此 相 机 可 同 时 捕 获 可 见 光 和 紫 外光 的 双 光 谱 图 片 ， 通 过 后 续 校 准 的 二 次 计 算 提 高 相 机 精 度 。 另 外 ， 该 相 机 只 使 用 了一片ＡＲＭ 作 为 主 核 心 ， 该 研 究 中 在 处 理 ７ ２ ０ ｘ ４ ８ ０ 分 辨 率 图 像 的 时 候 能 提 供 较 好 的 图 像 效 果 ，但 是 当 图 像 分 辨 率 进一步 增 大 的 时 候 ， 将 造 成 处 理 器 的 资 源 紧 张 ， 在 对 图 像 进 行 硬 件 算 法处 理 等 过 程 中 可 能 造 成 显 示 结 果 迟 缓 等 现 象。

 

最 后 ， 确 立 了 Ｓ ｐ ａｒｔ ａｎ６ 主 芯 片 ＋ Ｃｒ ｏ ｓ ｓ ＿Ｌ ｉ ｎｋ 接 口 转 换 芯 片 的 处 理 模 式 作 为  最终设 计 方 案 。 本 论 文 中 系 统 设 计 方 案 创 新 性 地 提 出 使 用一块 主 芯 片 作 为 系 统 的 统 筹 处 理 中心 ， 前 期 本 论 文 在 调 研 过 程 中 也 研 究 了 目 前 市 场 上 核 心 的 处 理 器 种 类 有Ｄ Ｓ Ｐ／ Ｃ ＰＵ／ ＧＰ Ｕ／ Ａ Ｓ Ｉ Ｃ 等 ， 但 是 相 比 于 Ｆ Ｐ ＧＡ 芯 片 的 高 效 并 行 处 理 数 据 的 优 势 和 低 延 迟 、 高效 率 和 低 功 耗 等 特 点 ， ＦＰ ＧＡ 芯 片 显 然 更 加 符 合 本 论 文 的 设 计 要 求 ， 研 究 并 设 计 其 作 为 图像 传 感 器 驱 动 和 数 据 信 号 处 理 的 枢 纽 ， Ｓ ｐａｒｔａｎ６ 芯 片 需 要 研 究 设 计 以 下 功 能 ：
１） 研 究 国 产 Ｃ ＭＯ Ｓ 图 像 传 感 器 的 特 性 ， 设 计 专 门 的 驱 动 模 块 不 仅 仅 能 够 实 现 最 基 本的 对 Ｃ ＭＯ Ｓ 图 像 传 感 器 的 驱 动 功 能 ， 并 且 还 要 能 够 在 ＣＭＯ Ｓ 图 像 传 感 器 正 常 工作 的 过 程 中 对 其 寄 存 器 参 数 进 行 实 时 配 置 进 而 改 变 其 工 作 模 式 ， 充 分 挖 掘 国 产Ｃ ＭＯ Ｓ 图 像 传 感 器 的 潜 能 ；
２ ） 设 计 专 门 对 接 ＬＶＤ Ｓ 串 行 信 号 的 数 据 接 收 模 块 ， 首 先 需 要 将 图 像 传 感 器 输 出 的ＬＶＤ Ｓ 串 行 信 号 进 行 数 据 的 接 收 和 解 析 ， 能 够 在 特 别 设 计 的 数 据 校 正 机 制 下 转 换得 到 准 确 无 误 的 图 像 数 据 。 其 次 ， 设 计 了 专 门 针 对 国 产 Ｃ ＭＯ Ｓ 图 像 传 感 器 输 出 格式 特 点 的 数 据 拼 接 模 块 ， 使 用 最 少 的 资 源 模 块 在 最 短 的 时 间 内 完 成 图 像 的 拼 接 ；
３ ） 图 像 处 理 算 法 的 硬 件 实 现 ， 通 过 Ｓ ｐ ａｒｔａｎ ６ 芯 片 硬 件 加 速 图 像 算 法 的 流 程 ， 将 复 杂的 图 像 处 理 算 法 底 层 化 、 集 成 化 ， 针 对 本 论 文 的 应 用 场 景 特 别 设 计 了 适 配 于Ｓ ｐ ａｒｔ ａｎ ６ 芯 片 的 锐 化 算 法 ， 具 体 有 三 种 实 现 方 案 ： Ｓ ｏ ｂ ｅ ｌ 锐 化 、 Ｌ ａｐ ｌ ａｃ ｅ 锐 化 、 非锐 化 掩 模 算 法 ；
４ ） 设 计 系 统 的 多 功 能 性 ， 增 加 系 统 支 持 的 特 色 功 能 。 具 体 到 系 统 启 动 模 式 的 拓 展 设 计 ， 其 中 包 括 视 频 模 式 、 图 片 捕 获 模 式 和 序 列 触 发 模式 ；综 上 研 究 的 接 口 桥 接 转 换 方 案 而 言 ， 选 定 的 Ｃｒ〇 Ｓ Ｓ＿Ｌｉｎｋ 芯 片 需 要 设 计 完 成 以 下 所 述 功 能 ：

１ ） 设 计 广 泛 通 用 的 ＭＩＰＩ 接 口 转 换 模 块 ，一方 面 可 兼 容 多 种 数 据 流 上 游 处 理 数 据 的芯 片 类 型 ， 另一方 面 可 兼 容 不 同 数 据 流 下 游 接 收 信 号 的 开 发 平 台 类 型 ， 满 足 嵌 入式 系 统 强 适 配 性 的 原 则 ；
２） 针 对 不 同 数 据 类 型 的 信 号 ， 专 门 研 究 设 计 基 于 ＭＩ ＰＩ 接 口 的 虚 拟 通 道 实 现 的 多 数据 类 型 传 输 模 式 ， 该 新 型 方 案 较 以 往 方 案 相 比 有 底 层 硬 件 结 构 需 求 简 单 、 操 作 方便 等 优 点。

３ ． １ 硬 件 电路 框 架
硬 件 电 路 框 架 图 如 图 ３－１ 所 示 ， ＭＩ Ｐ Ｉ 接 口 嵌 入 式 平 台 相 机 硬 件 系 统 可 以 分 成 五 个 部分 来 进 行 设 计 ， 分 别 为 图 像 采 集 模 块 、 图 像 处 理 模 块 、 Ｉ ２ Ｃ 通 讯 模 块 、 接 口 桥 接 转 换 模 块和 主 控 模 块 ， 各 模 块 之 间 分 工 独 立 但 可 以 通 过 接 口 彼 此 互 通 合 作 ， 共 同 配 合 完 成 整 个 系 统的 各 个 功 能 。 图 像 采 集 模 块 位 于 整 个 系 统 的 前 端 ， 在 图 像 处 理 模 块 的 驱 动 下 通 过 ＬＶＤ Ｓ 接口 输 出 对 应 模 式 的 有 效 像 素 数 据 ， 于 此 同 时 ， 图 像 采 集 模 块 受 图 像 处 理 模 块 实 时 控 制 ， 可以 通 过 Ｓ Ｐ Ｉ （ Ｓ ｅ ｒｉ ａ ｌ Ｐ ｅｒｉ ｐｈｅ ｒ ａ ｌ Ｉ ｎｔ ｅ ｒ ｆａｃ ｅ ） 串 行 总 线 来 实 时 配 置 相 应 寄 存 器 使 得 图 像 传 感 器 进入 相 应 的 工 作 状 态

 同 时 ， 在 Ｓ ｐ ａｒｔ ａ ｎ６ 芯 片 内 部 进 行 处 理 过 后 图 像 数 据 以 ＲＡＷ １ ０ 类 型 传 输 给 接 口 桥 接 转换 模 块 ， 最 后 在 Ｃ ｒ〇 Ｓ Ｓ＿Ｌ ｉ ｎｋ 芯 片 中 转 换 成 ＭＩ Ｐ Ｉ 格 式 数 据 信 号 通 过 转 接 板 传 输 给 主 控 模 块的 ＲＫ３ ３ ９ ９ 开 发 平 台 进 行 图 像 显 示 。 其 中 ， Ｉ ２ Ｃ 通 讯 模 块 的 主 要 作 用 是 连 接 主 控 模 块 和 图像 处 理 模 块 来 决 定 最 终 栢 机 系 统 输 出 的 视 频 流 模 式 ， 可 支 持 调 试 的 功 能 有 ： 自 动 曝光 功 能 、增 益 调 节 、 帧 率 调 节 、 分 辨 率 调 节 、 图 像 正 常 摸 式／ Ｔｅ Ｓ ｔ Ｐ ａｔ ｅ ｒｎ （ 测 试） 摸 式 切 换 以 及 相 机系 统 的 开 启 和 关 闭 等 。