kitti之ros可视化_学习笔记--第8课：tracking资料下载及2d侦测框绘制
Posted 鸿_H
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了kitti之ros可视化_学习笔记--第8课：tracking资料下载及2d侦测框绘制相关的知识，希望对你有一定的参考价值。
环境：ubuntu16.04，ros-kinetic，python2，vscode，opencv，rviz
概要：这节课笔记，新增展示的是，介绍的是下载绘制2号相机所需要的tracking资料，并使用tracking资料，先给图片中一个货车绘制一个浅蓝色的2d侦测框，最后统一给每张图片根据物体类型不同绘制不同颜色2d侦测框。
资料准备及预处理可参考博客，https://blog.csdn.net/qq_45701501/article/details/116447770
0、tracking资料下载和一些注意问题
1）tracking资料简单作用：加载人工加注资料用以提供给机器学习，如自动驾驶的物体侦测训练
1）tracking资料下载：http://www.cvlibs.net/datasets/kitti/eval_tracking.php
资料名称：Download training labels of tracking data set (9 MB)
填写邮箱，系统发送邮件，官方会发送下载链接到你邮箱，这里是个人之前获取下载链接 ：https://s3.eu-central-1.amazonaws.com/avg-kitti/data_tracking_label_2.zip
资料保存位置参考：压缩包-解压-放到kitti数据集的RawData同级目录中，如：
training就是下载压缩包，解压后的文件夹。
2）这个tracking资料只是包含2号相机，如果前面小伙伴选了其他相机的，注意把相机设置为2号，才能使用这个资料，具体说明可以看链接：
https://github.com/pratikac/kitti/blob/master/readme.tracking.txt
3）使用jupyter notebook工具
安装指令：sudo pip install jupyter notebook
使用时，终端输入：jupyter notebook
在网页中生成一个界面，进入所在包src文件中，按钮新建一个python2.0文件。
注意，网页使用读取资料时候，终端一定要求保持打开状态。填写路径时，最好采用的pwd指令获取
1、源码及解析
1）jupyter notebook预测试2d侦测框：
以下代码，均直接放到jupyter notebook里面，点击run即可。注意，不同模块，放到不同的栏中。
1-1）单张图片某一个 车子的2d侦测框绘制
import pandas as pd
import numpy as np
#数据单位
COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']
#读取tracking资料并处理
df=pd.read_csv('/home/ylh/data/kitti/training/label_02/0000.txt',header=None,sep=' ')
df.columns=COLUMN_NAMES#给读取的数据添加单位
df.head()
#查找原始数据'Truck','Van','Tram'类型汽车，都更改类型为'Car'，得到表1
df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'
#对表1,查找'Car','Pedestrian','Cyclist'三种类型物体，得到表2
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]
#表2,对2号资料，注意不是id为2，进行读取所示类型的资料，并以阵列形式展示
#df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']]
#将阵列显示的数据，保存到box的numpy数组里面
box=np.array(df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']])
import cv2
#读取图片
image = cv2.imread('/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync/image_02/data/0000000000.png')
#这里展示的给图片中一个货车绘制浅蓝色的框框
#由于像素只有整数，所以需要对box数组元素进行int类型转换;根据坐标值，绘制左上角点
top_left=int(box[0]),int(box[1])
#根据坐标值，绘制右下角的点
bottom_right=int(box[2]),int(box[3])
#指定图片，根据左上角点和右下角点绘制框框，(255,255,0)表示框框的颜色,2表示框线的宽度
cv2.rectangle(image,top_left,bottom_right,(255,255,0),2)
cv2.imshow('image',image)#显示图片
cv2.waitKey(0)#设置图片显示，避免一显示就消失情况
cv2.destroyAllWindows()#最后销毁该图片窗口
效果：
1-2）单张图片多个物体的2d侦测框绘制
import pandas as pd
import numpy as np
COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']
df=pd.read_csv('/home/ylh/data/kitti/training/label_02/0000.txt',header=None,sep=' ')
df.columns=COLUMN_NAMES
df.head()
df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'#将这三种车子，统一定义为Car
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]#只是获取数据集中类型为指定的数据，注意car为重定义类型
#box=np.array(df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']])#把2号资料四个边坐标保存到numpy阵列里面
import cv2
image = cv2.imread('/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync/image_02/data/0000000000.png')#读取图片
boxes = np.array(df[df.frame==0][['bbox_left','bbox_top','bbox_right','bbox_bottom']])#获取第0帧图片中的box们对应的四边坐标
for box in boxes:#给每个box绘制图线
top_left=int(box[0]),int(box[1])#box的左上角点，像素为整数，所以需要转换int类型
bottom_right=int(box[2]),int(box[3])#box的右下角点
cv2.rectangle(image,top_left,bottom_right,(255,255,0),2)#绘制框框，依次指定图片、左上角点、右下角点、颜色、线粗细
cv2.imshow('image',image)#显示框框
cv2.waitKey(0)#避免框框一显示就消失，也就是一直显示
cv2.destroyAllWindows()#结束就销毁所有窗口
效果：
1-3) 单张图片多个物体的2d侦测框根据类型而异颜色框框绘制
DETECTION_COLOR_DICT = {'Car':(255,255,0),'Pedestrian':(0,226,255),'Cyclist':(141,40,255)}#颜色字典
import pandas as pd
import numpy as np
COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha', 'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height', 'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']
df=pd.read_csv('/home/ylh/data/kitti/training/label_02/0000.txt',header=None,sep=' ')
df.columns=COLUMN_NAMES
df.head()
df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'#将这三种车子，统一定义为Car
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]#只是获取数据集中类型为指定的数据，注意car为重定义类型
#box=np.array(df.loc[2,['bbox_left','bbox_top','bbox_right','bbox_bottom']])#把2号资料四个边坐标保存到numpy阵列里面
import cv2
image = cv2.imread('/home/ylh/data/kitti/RawData/2011_09_26/2011_09_26_drive_0005_sync/image_02/data/0000000000.png')#读取图片
boxes = np.array(df[df.frame==0][['bbox_left','bbox_top','bbox_right','bbox_bottom']])#获取第0帧图片中的box们对应的四边坐标
types=np.array(df[df.frame==0]['type'])#读取图片中的种类类型并保存到tpyes数组中
#zip(types,boxes)[0]#两个数组的第一笔资料合并在一起
#for box in boxes:#给每个box绘制图线
for typ,box in zip(types,boxes):#给对应类型每个box绘制对应颜色图线
top_left=int(box[0]),int(box[1])#box的左上角点，像素为整数，所以需要转换int类型
bottom_right=int(box[2]),int(box[3])#box的右下角点
cv2.rectangle(image,top_left,bottom_right,DETECTION_COLOR_DICT[typ],2)#绘制框框，依次指定图片、左上角点、右下角点、根据类型不同给的颜色（bgr）、线粗细
cv2.imshow('image',image)#显示框框
cv2.waitKey(0)#避免框框一显示就消失，也就是一直显示
cv2.destroyAllWindows()#结束就销毁所有窗口
效果：
当然，这里统一读取的是0000000000.png图片，如果想看其他图片效果的，可以根据图片资料集，更改路径上图片名称即可，这里不再展示。
2）连续帧图片，多个物体2d侦测框在rviz效果
通过jupyter notebook的预测试，下面将上述的代码移植到下面三个文件中，目的在rviz显示连续帧不同类型不同颜色侦测框显示。
对于读取数据文件，data_utils.py：
#!/usr/bin/env python
# -*- coding:utf8 -*-
import cv2
import numpy as np
import os
import pandas as pd #用于读取imu资料
IMU_COLUMN_NAMES = ['lat','lon','alt','roll','pitch','yaw','vn','ve','vf','vl','vu',
'ax','ay','az','af','al','au','wx','wy','wz','wf','wl','wu',
'posacc','velacc','navstat','numsats','posmode','velmode','orimode'
]#根据kitti数据集中的名称进行定义的，个人理解是对照c里面的宏定义
TRACKING_COLUMN_NAMES=['frame', 'track_id', 'type', 'truncated', 'occluded', 'alpha',
'bbox_left', 'bbox_top','bbox_right', 'bbox_bottom', 'height',
'width', 'length', 'pos_x', 'pos_y', 'pos_z', 'rot_y']#tracking数据单位
#读取图片路径函数
def read_camera(path):
return cv2.imread(path)
#读取点云路径函数
def read_point_cloud(path):
return np.fromfile(path,dtype=np.float32).reshape(-1,4)
#读取imu资料
def read_imu(path):
df=pd.read_csv(path,header=None,sep=' ')#读取数据
df.columns=IMU_COLUMN_NAMES#给数据赋予单位
return df
#读取trackiing资料
def read_tracking(path):
df=pd.read_csv(path,header=None,sep=' ')#读取tracking资料
df.columns=TRACKING_COLUMN_NAMES#给资料数据添加单位
df.loc[df.type.isin(['Truck','Van','Tram']),'type']='Car'#将这三种车子，统一定义为Car
df=df[df.type.isin(['Car','Pedestrian','Cyclist'])]#只是获取数据集中类型为指定的数据，注意car为重定义类型
return df#返回读取的资料
对于发布函数定义文件，publish_utils.py：
#!/usr/bin/env python
# -*- coding:utf8 -*-
import rospy
from std_msgs.msg import Header
from visualization_msgs.msg import Marker,MarkerArray#Marker绘制相机视野指示线模块,MarkerArray解决Marker带来发布的不同步问题
from sensor_msgs.msg import Image,PointCloud2,Imu,NavSatFix
from geometry_msgs.msg import Point#Point来自ros包定义，所以需要定义;若不清楚，则需要到ros官网上面查看具体那个包
import sensor_msgs.point_cloud2 as pcl2
from cv_bridge import CvBridge
import numpy as np
import tf
import cv2
FRAME_ID='map'
DETECTION_COLOR_DICT = {'Car':(255,255,0),'Pedestrian':(0,226,255),'Cyclist':(141,40,255)}#颜色字典
#发布图片函数
def publish_camera(cam_pub,bridge,image,boxes,types):#增加参数boxes、types
#绘制框框到图片中
for typ,box in zip(types,boxes):#给对应类型每个box绘制对应颜色图线
top_left=int(box[0]),int(box[1])#box的左上角点，像素为整数，所以需要转换int类型
bottom_right=int(box[2]),int(box[3])#box的右下角点
#绘制框框，依次指定图片、左上角点、右下角点、根据类型不同给的颜色（bgr）、线粗细
cv2.rectangle(image,top_left,bottom_right,DETECTION_COLOR_DICT[typ],2)
cam_pub.publish(bridge.cv2_to_imgmsg(image,"bgr8"))
#发布点云函数
def publish_point_cloud(pcl_pub,point_clond):
header=Header()
header.stamp=rospy.Time.now()
header.frame_id=FRAME_ID
pcl_pub.publish(pcl2.create_cloud_xyz32(header,point_clond[:,:3]))
#发布相机视野以及车子模型marker函数
def publish_ego_car(ego_car_pub):
#publish left and right 45 degree FOV lines and ego car model mesh
marker_array=MarkerArray()#解决marker发布不同步问题
marker=Marker()
marker.header.frame_id=FRAME_ID
marker.header.stamp=rospy.Time.now()
marker.id=0#每个marker只能有一个id，有重复的id，只会显示一个
marker.action=Marker.ADD#表示添加marker
marker.lifetime=rospy.Duration()#lifetime表示marker在画面中显示的时长;Duration()函数，不给任何参数时，表示一直存在
marker.type=Marker.LINE_STRIP#所发布marker的类型
#设定指示线颜色
marker.color.r=0.0
marker.color.g=1.0
marker.color.b=0.0
marker.color.a=1.0#透明度，1表示完全不透明
marker.scale.x=0.2#大小，这里表示线的粗细
#根据激光点云的坐标系来定义2号相机的视野范围
marker.points=[]
marker.points.append(Point(10,-10,0))#Point,属于ros的资料包里面的定义，所以需要导入
marker.points.append(Point(0,0,0))
marker.points.append(Point(10,10,0))
marker_array.markers.append(marker)#将指示线marker放到MarkerArray中
#发布车子外形函数
mesh_marker=Marker()
mesh_marker.header.frame_id=FRAME_ID
mesh_marker.header.stamp=rospy.Time.now()
mesh_marker.id=-1#id只能设置整数，不能设置带有小数的
mesh_marker.lifetime=rospy.Duration()
mesh_marker.type=Marker.MESH_RESOURCE#这里的MESH_RESOURCE表示导入的是3d模型
mesh_marker.mesh_resource="package://kitti_tutorial/Audi R8/Models/Audi R8.dae"#下载的dae模型存在问题，只是显示部分
#设定模型位置
mesh_marker.pose.position.x=0.0
mesh_marker.pose.position.y=0.0
mesh_marker.pose.position.z=-1.73#这里负数，是因为以激光雷达坐标系而定义的，1.73是根据官方发布的位置定义所取的
#设计车子模型的旋转量
q=tf.transformations.quaternion_from_euler(0,0,np.pi/2)#(np.pi/2,0,np.pi)这里根据下载的车子模型进行调整
mesh_marker.pose.orientation.x=q[0]
mesh_marker.pose.orientation.y=q[1]
mesh_marker.pose.orientation.z=q[2]
mesh_marker.pose.orientation.w=q[3]
#设置车子模型的颜色
mesh_marker.color.r=1.0
mesh_marker.color.g=1.0
mesh_marker.color.b=1.0
mesh_marker.color.a=1.0
#设置车子模型的大小
mesh_marker.scale.x=0.6
mesh_marker.scale.y=0.6
mesh_marker.scale.z=0.6
marker_array.markers.append(mesh_marker)#将车子marker放到MarkerArray中
ego_car_pub.publish(marker_array)
#发布imu资料函数
def publish_imu(imu_pub,imu_data):
imu=Imu()#ros,imu 进行google可以查看文档说明
imu.header.frame_id=FRAME_ID
imu.header.stamp=rospy.Time.now()
#旋转角度、加速度，角速度
q=tf.transformations.quaternion_from_euler(float(imu_data.roll),float以上是关于kitti之ros可视化_学习笔记--第8课：tracking资料下载及2d侦测框绘制的主要内容，如果未能解决你的问题，请参考以下文章
kitti之ros可视化_学习笔记--第1课：资料准备及环境介绍
kitti之ros可视化_学习笔记--第6课：发布imu资料
kitti之ros可视化_学习笔记--第7课：发布gps资料