基于 DSP+FPGA 的高清图像跟踪系统研制

Posted 2023-03-05 深圳信迈科技DSP+ARM+FPGA

目标识别与跟踪技术是目前图像处理研究的重点方向，在军事和民用领域中 具有广泛的应用价值，如精确制导武器、导弹飞机预警等军事领域，如交通管理、 刑事侦查等民用领域。其中，如何在复杂的背景中，提取、识别与跟踪特定目标 更是急需解决的问题。本文介绍了国内外图像跟踪系统的研究现状与发展趋势、 图像跟踪系统的基本组成与工作原理、详细功能和性能要求，设计了基于 DSP+FPGA的图像跟踪系统并进行了实验验证，主要工作包括： 1）本文设计的图像跟踪系统主要由图像跟踪电路、通讯控制电路和视频接口 电路组成，以高速DSP+FPGA为处理核心，建立高性能视频跟踪和通信处理平台， 完成视频图像数据的采集、处理、字符叠加和输出功能，实现对感兴趣目标的实 时跟踪，以及与其它组件的通讯控制等功能。文中给出了硬件电路的原理图与详 细设计方法。 2）图像跟踪系统的软件设计采用双DSP工作模式，DSP-1主要承担图像跟踪 算法、可疑目标检测以及跟踪目标位置信息输出任务，实时性要求较高；DSP-2主 要承担通讯控制以及辅助字符控制等实时性要求不高的任务。 3）实现了海面可疑弱小目标报警功能，采用Top-Hat检测算法和历史运动轨迹 信息，提高检测率，降低虚警率；实现地面目标跟踪功能，采用频域跟踪算法， 能够有效的解决遮挡、背景干扰等问题。 在实际飞行中多次进行可疑目标检测、地面目标跟踪实验。 实验结果表明， 本文设计的图像跟踪系统工作稳定，目标跟踪能力和抗干扰能力强，满足系统功 能和性能要求。 2.1 引言 图像跟踪系统是一个专用的图像信息处理平台，根据任务要求，我们在进行 系统设计时，基于以下原则： a) 在保证系统性能指标的条件下，力求高集成度、低功耗、小型化； b) 系统硬件、软件结构面向算法，实现高性能价格比； c) 合理分配软硬件资源，采用优化的体系结构，实时实现跟踪和系统通讯 任务； d) 所设计系统应具备可编程、可扩充、易调试和易维护性； e) 应有良好的开发界面和调试环境，可在模拟环境中完成跟踪系统的所有 工作。 2.2 原理与构成         图像跟踪系统主要由图像跟踪电路、通讯控制电路和视频接口电路组成，本 系统设计以高速 DSP+FPGA 为处理核心建立高性能视频跟踪和通信处理平台，完 成视频数据的采集、处理、字符叠加和输出，实现对感兴趣目标的实时跟踪，以 及与其它组件的通讯控制等功能。 图像跟踪系统接收来自可见光摄像机、红外热像仪等成像传感器的视频信号， 经相应视频解码芯片电路分离出视频中的同步信号和图像信息，如图 2-1 所示，经 过 FPGA 中的视频数据采集模块处理后，图像信息存放在外部空间存储器中。同 时 DSP 芯片根据上位机指令，在搜索状态下，采用 EDMA 读取方式从 SRAM 中 读取图像信息用于跟踪运算。图像跟踪功能在 DSP 运算下，自动完成图像识别跟 踪运算，并进行智能化决策处理，最终实现目标定位，反馈目标偏离视场中心的 误差信号到 FPGA 和 DSP 之间的通讯 RAM 中，经过 FPGA 的通讯控制模块输送 到伺服控制器，从而驱动稳定平台跟踪目标。最后，数字视频和字符叠加信息一 起送给视频生成芯片生成视频输出给终端显示。

        系统在设计通讯功能时，在 FPGA 中开发一软核 CPU，生成通讯控制模块， 完成平台系统中所有通讯功能。该模块主要完成与外部上位机的通讯任务，接收 上位机送来的控制命令和参数，同时将跟踪系统的工作状态和参数传送给伺服控 制系统。同时可完成与可见光传感器、红外传感器、激光测距仪、记录仪等组件 的通讯控制和信息交换功能。         由于本系统属于“人在回路中”系统，人机交互非常频繁，为了减轻目标跟踪 DSP 的负担，系统中设置一个微处理器（MPU），它完成与上位机的通讯控制任务， 接收上位机送来的控制命令和参数，并将跟踪系统的工作状态和参数通过总线接 口电路传送给系统控制器。同时将稳定平台中的红外热像仪和可见光摄像机的焦 距、目标距离等数据也经由微处理器发到总线接口电路。 图像跟踪系统是采集来自可见光或红外图像传感器的视频信号，采用图像处 理算法计算目标相对图像中的位置，将位置信息传递给伺服控制组件，实现光电 侦察设备的跟踪功能。图像成像传感器图像输出一般采用模拟或数字信号接口，模拟图像传感器和数字图像传感器的工作原理基本相同，图像传感器通过光电转 换和 A/D 转换作用，将传感器获取的图像数据转换为电平信号，通过模拟或数字 接口输出。         目标在可见光或红外图像传感器探测器靶面上的位置，相对于视频图像中心 的偏差就是图像跟踪系统给出的误差信号，传递给伺服控制系统，来实现光电侦 察设备的目标跟踪功能。如图 2-2 所示，（Δx,Δy）就是目标偏离中心的误差，图像 跟踪系统实时获取每一帧中目标误差信息，传递给伺服系统，伺服系统控制光电 侦察设备按照误差信息向一定方向运动，对目标进行自动跟踪。

 

2.3 主要功能及技术要求 机载光电侦察设备主要用于在白天和夜晚对陆地及海（水）上目标进行搜索、 识别、下视救援监视，以及军事目标侦察、辅助武器系统瞄准等，并具备一定的 辅助导航功能。针对实际工作任务需求，系统总体对图像跟踪系统提出了如下功 能和技术要求： a) 具备两路视频目标跟踪功能，可跟踪典型目标： 陆地车辆、行人及地面静止目标等； b) 字符叠加功能： 能够在输出图像上叠加跟踪框及十字； a) 通信控制功能 能通过RS422接口实现与可见光、红外、伺服控制等组件的通信控制、 参数传递，通过CAN 2.0接口实现与上位机的通信控制； b) 自检功能 图像跟踪器具备自检功能,能够按照系统要求完成跟踪器自检，将自检状 态返回给上位机； c) 可见光视频输入：分辨率1920×1080，30fps，HD-SDI接口； d) 红外视频输入：分辨率640×512，50fps，LVDS接口； e) 可见光照片输入：分辨率5000×4000，1fps，Camera Link接口； f) 视频输出： 2路SDI接口（分辨率1920×1080 30fps，分辨率720×576 50fps）； g) 照片输出：1路RapidIO光纤接口，3.125 Gbps； h) 通讯接口：1路CAN 2.0，4路RS422； i) 跟踪精度：≤1像素； j) 最大跟踪速度：200像素/帧； k) 跟踪处理延迟时间：1图像帧； l) 供电及功耗：5V DC，≤18W。