地理信息可视化大数据系统分析

Posted 2020-12-06 ztmap

1、前言

       伴随着IT技术的飞速发展，人类社会已步入信息化时期，人类活动和社会经济发展所累积的专业知识和工作经验依靠智能化技术积累成大量的数据资源。步入二十一世纪，随着互联网技术、移动互联和物联网技术的盛行，数据资源正展现为类型和经营规模的迅速扩大，比如中国电商企业淘宝公司每日均值约有6000万账号登录和20亿PV，沪深两市每日4个钟头的交易时间会产生三亿条以上逐笔成交数据，腾讯企业各种数据储存量（经压缩解决后）超出100PB。大量数据资源为数据发掘和剖析从而发觉和运用数据使用价值出示了前所未有的机会，大数据时期早已来临。

      1980年，知名未来学者阿尔文·托夫在《第三次浪潮》一书里写到：假如说IBM的服务器打开了信息化改革的序幕，那么“大数据”才算是第三次浪潮的华彩协奏曲。自2009年开始，“大数据”变成了互联网信息技术行业的流行词汇。在2011年，美国知名咨询管理顾问公司麦肯锡明确提出大数据时期的见解：“数据，早已渗入现如今的每一个制造行业和业务职能行业，称之为重要的生产要素”。同一年三月，美国奥巴马政府部门就在白宫网站更新了《大数据研究和发展倡议》，将为此投入两亿美金以上资产，用以产品研发大数据重要技术，以占领数据资源综合利用的主阵地。诸多征兆莫不说明大数据身后潜在着极大的使用价值。那么，究竟什么叫大数据？百度百科界定大数据或称海量资料，指的是所涉及到的材料规模巨大到没法透过现阶段主流工具软件，在有效时间内做到获取、管理、解决并梳理变成协助企业运营决策更积极目的的新闻资讯。

       具体来说，大数据关键有4个特性：一是数据规模极大，从TB级別上升到PB级別上述；二是数据种类繁杂，包含网络日记、视频、照片、地理位置信息等多种类型数据；三是使用价值相对密度低，以视频为例子，持续无间断监控过程中，可能有效的数据仅仅有一两秒；四是响应速度快，遵照“一秒定律”，就可以从多种类型的数据中迅速得到 高使用价值的信息。

      大数据做为一种新式战略资源，提供了一个在虚拟信息世界中掌握和了解客观事物世界的前所未有的机遇。地理信息制造行业做为信息产业链的关键支系，应把握住大数据技术和运用所产生的机遇与挑战，面向最广大的群众在地理信息大数据采集、剖析与服务项目层面展开体制自主创新，促进地理信息制造行业的迅速发展壮大。

2、以数据为关键的地理信息制造行业

       从上世纪50年代GIS（地理信息系统）问世开始，地理信息制造行业就以数据为关键逐渐稳步发展，其关键业务采集、查验、解决、建库和派发服务项目无一不是重点围绕数据展开的。数据是地理信息制造行业的生命。

       现阶段，测绘工程地理信息系统内早已累积了很多的地理信息数据：全国重力、三角、水平及GPS大地测量成效，包含2500余个2000坐标系国家GPS地面基准点，近五万个2000坐标系国家地面基准点，20多个重力测量点和120多个重力核心，1600多个全国通讯卫星持续运作站点；全世界1:100万矢量素材数据、DEM数据，全国1:25万DLG、DEM、DOM数据，全国1:5万DLG、DEM、DOM数据，各省市（自治州、市辖区）覆盖重污染区域的1:500-1:10000大比例尺地质图数据，中西部挂画（1027个县）矢量和影像数据及各种专题讲座数据等；超出五百万张的航空公司影像数据，覆盖陆地国土超出7000万平方公里（含反复覆盖范围）的繁杂像素卫星影像数据，覆盖所有土地的10～30米像素卫星影像，对重点地区基础进行必要覆盖的优于5米像素的卫星影像数据，以及像素优于2.1米的225TB（截止2012年）的资源三号卫星影像数据。

       上述地理信息数据成效（含历史数据）线上储存量超出560TB，线下储存量超出1.3PB，而且线上数据成效以每一年不少于300TB的增加量拓展。这种内容丰富、种类繁杂的地理信息数据是地理信息大数据的基本，能够 尽快推动地理信息工作中服务大局、服务社会、服务民生。

       客观性而言，沒有地理信息数据，地理信息服务项目无从说起；沒有海量、产业化、多种类的地理信息大数据，地理信息智能服务将困难重重。在即将到来的“智慧中国”时期，有着大量数据级別、高使用价值成分的地理信息大数据是推动测绘工程地理信息服务项目迈向智能化系统、智慧化转型发展的必由之路。大数据的发展壮大是必然趋势，是打开智慧时期的必然要求。测绘工程地理信息是国家关键发展战略信息资源，基本建设地理信息大数据具备长远的实际意义和明显的实际规定。

3、地理信息大数据发展壮大中的牵制要素

      现阶段，地理信息系统已累积了大数据量级別和多类型的地理信息数据，但应客观见到地理信息大数据发展壮大中的牵制要素。一是伴随着大数据时期的来临，应探寻更多不一样的获取地理信息数据的精确测量方式，为大量室内空间数据的累积出示繁杂方式，大数据的经营者已不限于传统定义上的技术专业单位，大量地来源于数量诸多的群众及其传感器；二是目前地理信息大数据的使用价值仍未充分运用出来，大数据与数据大不相同，其最重要的内涵是根据全体人员数据集而不是任意数据集的剖析，以获得智能化的、深层次的和有使用价值的信息。现阶段地理信息数据运用离智慧发展壮大的规定还存有极大的差别，必须紧密联系实际发展壮大需要，充足发掘地理信息大数据的实用价值；三是地理信息大数据派发服务项目方式还需自主创新，服务项目目标还需拓展，将全新最齐的地理信息大数据成效以最短的时间服务到最众多的政府部门、机关事业单位、国防安全和群众手上。

3.1传统式数据采集体制的牵制

       地理信息数据的采集是地理信息制造行业的基本阶段，是大数据的创造阶段。传统式的地理信息数据采集体制是新项目驱动器下的方案模式，即中央级测绘工程地理信息企业申请办理国家项目立项后，将每日任务工程分包到每个省部级测绘工程地理信息企业，分头机构数据采集和质量检验，再集中汇交展开数据建库、剖析与服务项目。这类采集方式在测绘工程信息化工作上充分发挥了关键功效，具备数据规范统一和管理方法高效等特性。另外，应当见到，这类方式存有数据获得面不广，无法列入市县级测绘工程企业和总数诸多的群众采集的地理信息；另一方面，数据的种类固化，升级时间长，现势性不高，以1:5万基本地理数据库为例子，全国性范畴的升级周期时间一般需要3-5年；第三层面，传统式数据采集体制灵活度不高，反应时间长，无法考虑紧急测绘工程等实时或准实时服务项目规定。

3.2传统式数据剖析构架的牵制

       地理信息制造行业传统上以数据劳动密集型、IO劳动密集型解决主导，伴随着大数据技术的发展和新形势下客户的要求转变，测算劳动密集型解决慢慢占据一席之地。在有关电子计算机装备配备层面，大中型大数据处理网络服务器关键配备在国家级数据管理中心的保密局域网络内，别的地理信息企业难以使用；另外，传统式的地理信息优化算法受限于初期电子计算机技术的牵制，以串行通信测算主导，无法及时改善为并行算法，无法考虑大数据自然环境下分布式系统并行计算的构架规定，迫不得已在价格昂贵的SMP（对称性多解决）网络服务器上运作，本单位或有业务关系的别的单位的数量诸多的电脑设备没法合理运用。

3.3传统式数据服务项目方式的牵制

       大数据运用的根本目地是将发掘、剖析得到的数据使用价值，迅速全方位向客户服务，服务目标是政府部门、机关事业单位、国防部门及其民众的最大结合。不然，大数据就失去所有或一部分存有使用价值。传统式的地理信息服务项目主要面对保密单位，在社会经济和军队建设及其应急抗灾中充分发挥了关键功效，比如2014年，国家级别管理中心向客户出示数据超出5TB，成效显著。但是，应当见到，在面对非保密的机关事业单位、社会发展公众服务层面，存在的问题：一是数据內容较少，仅限可公布的低分辨率、低精密度的地理信息数据；二是现势性不高，“旧数据”多，全新数据时效性超出一年上述，别的数据多超出三年，这种客户数目更多，对于此事是不满意的；三是作用不强，主要的面向保密企业的数据出示以人工服务主导、互联网方式辅助，面向非保密企业的数据出示集中在“天地图”网址，因为武器装备能力不足，朝向大量客户服务存有等待的时间较长、服务项目起伏等不足。

4、地理信息大数据基本建设的关键整改措施

       从实质剖析，无论是美国的Google、Facebook，还是中国的淘宝网、百度搜索，大数据来自于民众、服务于民众。民众是数据的关键经营者，数据的使用价值关键服务于民众。

       近些年，伴随着互联网技术、导航定位技术和移动智能终端技术的快速发展壮大，传统式的地理信息技术以及运用发生了颠覆性的转变，地理信息服务项目方式从单边的Web运用（容许很多的客户浏览小量Web站点出示的地理信息）慢慢向互动式的双重合作（客户能够 同时是地理信息的使用人和服务提供者）改变。此次改变促使每个人都是参加者，针对大家每一个人而言，既是地理信息大数据的使用人又可以是经营者，进而完成理信息数据迅速且持续的被建立、升级和引入，而且极大地减少了地理信息获得和散播的时间。

       在2007年GoodChild初次明确提出了青年志愿者地理信息（VGI）的定义，觉得VGI务必结合团体智慧、Web2.0和新地理等三要素，在其中团体智慧是生命，Web2.0是专用工具，新地理是定义，这体现了网络时代地理信息新的获得与运用方法，即来源于民众、服务民众的新方式。VGI是由很多外行客户运用3S（GIS、RS、GPS）技术自发性建立的地理信息，客户根据互联网技术、移动互联在线协作的方法，以一般手执GPS终端设备、对外开放获得的高像素遥感图像，及其个人空间认知能力的地理专业知识为基本参照，建立、编写、管理方法、维护保养的地理信息[7]。VGI已经产生影响广泛的新兴地理信息制造行业。2012年初，美国知名的社交网络精准定位服务供应商Foursquare和全世界领跑的IT生产商苹果公司均公布弃用GoogleMaps，转为现阶段发展前途宽阔且数据完全免费的VGI网址OpenStreetMap。VGI早已对传统式的地理信息数据制造行业造成了强劲的冲击性。

      根据上述剖析，地理信息大数据的采集、剖析、服务必须持续发掘新理念，提升原来测绘专业单位进行数据采集、质量检验、解决、剖析和建库的闭合环路，提升主要面向技术专业客户服务的牵制。

4.1地理信息大数据采集

       现阶段，大部分地理信息系统是根据由上而下的方法创建的，只有官方服务提供者能够 采集、解决、公布和维护保养数据资源，这类体制造成 了资源维护保养技术非常复杂，限定了客户的参加，导致奉献资源的不够。地理信息大数据的采集，一方面要坚持不懈传统式的数据采集的优势，适度扩张数据采集接受面（如市级测绘工程企业），另一方面积极主动引进VGI数据。

      VGI数据关键来自于民众的自发性个人行为，每一个人都能够变成地理信息数据的采集者，每个人都是数据的经营者。长期性定居的住户会对附近的地理自然环境（地名大全、交通出行公路网）拥有比较详细的掌握，在现阶段，在其中的一部分信息是无法根据自动化技术的方式得到 的。比如，技术专业单位根据航空摄影得到 一个地区清楚的像片后，需要在中后期投入很多的人力资源、物力资源和资金才可获得其详尽的地名大全注记。因而，应启动民众，以“每个人都是传感器”的构思，摆脱地理信息技术专业工作人员和民众之间的界线，合理融合坐落于全球每个角落里的人们把握的自身附近的各种各样信息，控制成本，提高工作效率，将地理信息大数据迅速共享和散播。

       在地理信息制造行业内，将模式采集的地理信息数据与VGI数据的结合，造就出积极向上的满足移动互联时期用户需求的大数据成效。

4.2地理信息大数据剖析

       针对传统式的串行通信处理的大数据处理，根据保密广域网，面向省部级测绘工程企业对外开放国家级别管理中心的大数据处理网络服务器，灵活运用珍贵的云计算服务器；针对能够 分布式系统并行处理的大数据解决，根据保密广域网，灵活运用省部级测绘工程企业的中低档服务器空间，统筹兼顾，搭建根据云计算技术的大数据剖析自然环境。

       针对VGI数据，因为青年志愿者是自发性奉献数据，会存有数据遍布不匀称，持续性不一致乃至不正确等难题，给VGI数据的解决产生挑战。VGI数据务必历经处理和质量检测以确保数据的方式合理和內容合法合规。在这个基础上，根据Hadoop等云计算架构，运用MapReduce技术开发设计分布式系统并行算法，面向保密广域网启用云计算服务器，展开地理信息大数据剖析。

4.3地理信息大数据服务项目

       民众是地理信息大数据的最后使用人，是地理信息大数据服务项目的关键目标。在国家信息保密政策法规批准的前提条件下，提升可公布大数据的像素和精密度。另外，根据VGI数据，动态更新传统式地理信息数据库，提高现势性，经济发展比较发达地域和灾难多发区数据时效应在一年以内；丰富內容，数据层和特性信息不可低于GoogleMap。此外，提高“天地图”网址电子计算机和互联网装备水准，选用性价比较高的Hadoop云计算架构和非关联型数据库，在全国性布置好几个云计算技术中心，全方位提高网址服务水平。

      地理信息大数据派发服务项目，要迅速将大数据以及剖析成效与有关运用公布到最广大的用户群当中，到民众中去，为公众服务。

5、结语

       将大数据与VGI核心理念紧密结合，立足于传统式地理信息数据成效，搭建地理信息大数据，优化分析和服务体制，充分发挥地理信息大数据的核心理念，即地理信息大数据来源于民众，地理信息大数据服务民众。