数据可视化相关技术研究与应用

Posted 2021-04-28 智慧交通

引言

数据可视化技术是指运用图形学的理论和图像处理技术，将各种数据转化为屏幕上显示出的图标图像，并进行人机交互处理的技术和方法。随着现代城市的快速发展与人们生活水平的提高，许多城市面临着的严重交通问题影响着人们的日常生活，如何解决城市中的交通问题也成为了一大世界性难题。本研究采用了大数据可视化的基本思想，利用了如MongoDB、Echarts、nodejs等相关技术，充分利用道路监控系统作为交通数据的采集设备，对交通数据进行采集并研究分析，并将这些数据直观的展现给分析人员，以解决传统交通数据采集展示过程中存在的查询速度慢、展示效果差、数据挖掘不充分等特点。

研究内容

1）

数据可视化

数据可视化，是关于数据视觉表现形式的科学技术研究。可视化技术是利用计算机图形学及图像处理技术，将数据转换为图形或图像形式显示到屏幕上，并进行交互处理的理论、方法和技术。它涉及计算机视觉、图像处理、计算机辅助设计、计算机图形学等多个领域，成为一项研究数据表示、数据处理、决策分析等问题的综合技术。

数据可视化技术的主要特点是：

（1）交互性，用户可以方便地以交互的方式管理和开发数据；

（2）多维性，可以看到表示对象或事件的数据的多个属性或变量，而数据可以按其每一堆的值，将其分类、排序、组合和显示；

（3）可视性，数据可以用图像、曲线、二维图形、三维体和动画来显示，并可对其模式和相互关系进行可视化分析。

2）

Echarts

ECharts，一个使用 javascript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖轻量级的矢量图形库 ZRender，提供直观，交互丰富，可高度个性化定制的数据可视化图表。ECharts 提供了常规的折线图、柱状图、散点图、饼图、K线图，用于统计的盒形图，用于地理数据可视化的地图、热力图、线图，用于关系数据可视化的关系图、treemap、旭日图，多维数据可视化的平行坐标，还有用于 BI 的漏斗图，仪表盘，并且支持图与图之间的混搭。

3）

MongoDB

MongoDB 是一个跨平台的，面向文档的数据库。它介于关系数据库和非关系数据库之间，是非关系数据库当中功能最丰富的产品。它支持的类似JSON的BSON格式数据结构非常松散，可存储比较复杂的数据类型。

MongoDB是一个面向集合的、模式自由的文档型数据库，其类似于面向对象的查询语言，可以实现类似关系数据库单表查询的绝大部分功能，并支持对数据建立索引。

MongoDB具体特点总结如下：

（1）面向集合存储，易于存储对象类型的数据；

（2）模式自由；

（3）支持动态查询；

（4）支持完全索引，包含内部对象；

（5）支持复制和故障恢复；

（6）使用高效的二进制数据存储；

（7）自动处理碎片，以支持云计算层次的扩展性；

（8）支持 Python，php，Ruby，Java，C，C#，Javascript等多种驱动程序；

（9）文件存储格式为 BSON。

4）

Nodejs

Node.js 是一个让 JavaScript 运行在服务端的开发平台，它主要用于创建快速的、可扩展的网络应用。Node.js采用事件驱动和非阻塞I/O模型，使其变得轻微和高效，非常适合构建运行在分布式设备的数据密集型实时应用，具有异步事件驱动、 非堵塞I/O、单线程、性能出众等几个特点。

设计开发

2.1

架构设计

基于大数据可视化的思想，结合交通大数据的基本特点，如图所示，本研究将交通大数据可视化展示的技术方案分为如下四个步骤：

图1 交通大数据可视化架构设计

1. 数据采集及存储

数据采集是数据可视化过程的基础，如何及时采集并妥善存储海量交通数据，选择合适的数据库是关键。本系统选用的是MongoDB分布式存储数据库。

2. 数据转换

由于交通数据数据量庞大，如果直接从原始交通数据中提取特征则可能会导致查询速度慢、系统卡顿等现象的出现，因此需要对原始海量交通数据进行数据提取，将数据的不同特征提取并保存。为保证数据可视化的实时性，需要及时对海量交通数据进行特征提取，会同时对数据进行查询插入等操作，高并发可能会丢失数据并增大服务器压力，为提高数据提取的速率，缓解服务器压力，本系统采用nodejs框架，利用其优秀的处理高并发的能力，编写算法对原始交通数据进行处理，并将结果保存，优化特征提取速度，提高数据可视化的实时性。

3. 数据分析

通大数据数据量庞大、各类交通数据间联系紧密的特点，本系统采用了如细分分析、对比分析、漏斗分析、同期群分析、聚类分析、埋点分析、来源分析、表单分析等多种数据分析方法，充分挖掘交通大数据的特征，为数据可视化展示提供良好的数据来源。

4. 数据展示

利用Echarts数据可视化工具，结合高德地图，针对交通数据的不同特征，采用地图、漏斗图、饼图、词云等多种数据展示方法进行展示。

2.2

开发

2.2.1 数据采集存储及转换

由于交通流量数据数据量庞大，如何对数据进行合理地存储、优化查询方法成为关键。实际使用中，交通流量数据一般存储于Oracle数据库中，关系型数据库存储大量数据后会造成数据库性能下降、查询速度慢等情况，为满足数据可视化快速实时的要求，一般可以做以下几方面的优化：

1.数据分表存储，即将交通流量数据按照时间或者其他特征存储在不同的数据表中；

2.建立多种索引，即为数据库中的交通流量建立多个索引，提高查询速度；

3.将数据定时抽取转存到非关系型数据库中，利用非关系型数据库存储容量大查询速度快的特点，提高查询速度；

4.对交通流量数据进行特征提取，通过定时任务将交通流量数据的特征提取并将结果保存。

根据实际需要，本研究搭建了MongoDB非关系型数据库，将Oracle存储的城市道路交通流量数据定时抽取，并使用nosql管理工具进行管理。由于数据表中数据较大，为满足数据分析的速率及实时性准确性要求，运用nodejs工具编写脚本对数据进行开发，定时提取数据的各个维度的特征并存储结果。

图2 Nosql工具管理MongoDB数据库

2.2.2 数据分析及展示

针对各类交通数据的不同特征，采用地图、漏斗图、饼图、词云等多种数据展示方法进行展示。本研究中使用的交通数据主要包括卡口流量数据、违法数据、设备在线数据等等。其中卡口数据中主要包含号牌号码、号牌种类、过车时间、过车地点、号牌颜色、行驶方向、车道号等信息，违法数据中主要包括号牌号码、违法时间、违法行为、违法地点、采集方式、审核人员、审核时间等信息，设备数据主要包括的是设备在线离线信息。而交通管理人员日常工作中比较关心的数据包括实时流量数据、历史流量数据、卡口流量排行、违法地点排行、违法行为等信息，为满足交通管理人员日常工作的需求，本研究中设计了如下若干种展示方式：

1. 卡口数据

实时路况及流量数据：

设计思路：卡口数据中包含卡口地点信息，可根据卡口地点的坐标信息及各个卡口流量数据，以热力图方式展示在高德地图上展示各卡口实时流量并加载实时路况，点击可查看该卡口过车流量详情，即卡口名称、过车总数及各个方向过车数量；

展示方式：热力图、饼图

图3实时路况及卡口流量数据展示

历史流量展示：

设计思路：近一周卡口过车总数对比主要关注的是当前一周卡口流量的变化趋势，一般采取柱状图或者折线图，本研究中采用的冰川图是柱状图的一种，相比较来说更加直观一些。而过车所属省份统计关注的是当天过车数据中所属各个省份的数量，提取的是卡口数据中号牌号码信息，判断所属省份，使用的是echarts中的中国地图方式，并在各个省份的省会城市标记数量值。

展示方式：冰川图、中国地图、散点图

图4历史卡口流量数据展示       

     

 图5历史卡口流量数据展示

历史卡口流量数据详情展示：

设计思路：对某个卡口的过车数据进行多个维度分析，主要统计的是该卡口各小时内过车的总数、蓝牌黄牌车数量、各个方向过车总数，可通过这些信息反映出该卡口一天内各个时段的交通状况，如早高峰晚高峰通行状况等等。

展示方式：柱状图、折线图

图6历史卡口流量数据详情展示

卡口过车数量排行展示：

设计思路：以柱状图降序的方式展示过车数量最多的是个卡口及其过车数量，便于交通管理人员对重点路口进行关注，优化交通出行。

展示方式：横轴柱状图

图7卡口过车数量排行展示

2. 违法数据

违法数据类型排行：

设计思路：通过展示违法数据中违法数据最多的十个类型及其数量，交通管理人员可以查看到城市交通中发生次数最多的违法类型，可以有针对性地进行监管。

展示方式：漏斗图

图8 违法类型排行展示

固定测速设备录入展示：

设计思路：违法数据中有数据来源信息，其中包括固定测速设备录入，通过对各个固定测速设备采集到的违法数量展示，交通管理人员可以掌握各测速点的数据采集情况。通过词云中词的大小可以直观反映出各测速点采集的违法数据数量。

展示方式：词云

图9 固定测速上传排行展示

3. 设备数据

设备在线状态：

设计思路：通过设备在线状态统计，交通管理人员可以监测到各类型设备的运行情况。设备状态包括在线、离线两种状态，设备种类包括诱导屏、信号机、视频、电警、卡口等类型，可以通过横轴柱状图的方式展示设备的在线状态，且便于比较在线离线设备的数量。

展示方式：横轴柱状图

图10 设备在线状态展示

研究结果

根据实际情况及不同的用户需求，结合各类数据的基本特点，采用分布式存储数据库MongoDB对交通数据进行采集存储，利用nodejs框架编写算法对大数据进行数据转换，挖掘交通大数据的基本特征，并采用多种有效的分析方法分析数据计算结构，从多个维度提取交通大数据的特点及彼此间的联系，最后基于echarts数据可视化工具渲染数据分析结果，如图11所示。

图11 交通数据可视化展示

结束语

数据可视化技术可运用在人们生活的各个方面，本研究中以城市道路路口车流量数据为基础，采用结合路口分流与路网流量传播分析城市道路的车辆行驶规律，实现了从全局到局部的流量信息展示，通过echarts等可视化组件之间的交互操作，探索道路车流量的分布规律，为道路交通管理、城市规划建设以及与交通相关的工作提供数据依据。

作者简介

李虎：连云港杰瑞电子有限公司智慧城市事业部

往期推荐

--相关推荐--

--原创推荐--