国家地理信息公共服务平台天地图GaussDB(for Mongo)应用实践
Posted 爱是与世界平行
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了国家地理信息公共服务平台天地图GaussDB(for Mongo)应用实践相关的知识，希望对你有一定的参考价值。
国家地理信息公共服务平台天地图GaussDB应用实践
国家地理信息公共服务平台天地图GaussDB(for Mongo)应用实践
整理自：第十一届数据技术大会 演讲人：张红平 | 国家基础地理信息中心
天地图简介
地理信息公共服务平台天地图是网络化地理信共享与服务门户，其目的是将我国的国家、省、市三级地理信息资源按照“在线协同”的理念集成、汇聚起来，通过统一的门户网站为用户提供权威、标准的在线地理信息服务。
主要特点
基础性
均等化、普惠性向社会提供政府在线地理信息服务，服务自然资源管理与社会经济发展
公益性
汇聚了测绘地理信息成果数据、目录元数据、标准地图、公开版数据资源等
权威性
政府部门主导建设，数据来源权威，国界线、地名等内容代表国家立场
开放性
采用国家统一空间坐标系和标准服务接口，技术门槛低，便于开发利用
典型案例分享
基于天地图的互联网在线地理信息服务应用超过70000个
在线地图浏览如何实现
在线地图服务数据存储需求
GaussDB(for Mongo)应用实践与定制
解决大量数据入库与更新性能瓶颈问题
问题
在云下采用社区版MongoDB 3.4集群导入瓦片数据，由于社区版采用WiredTiger存储引擎，底层数据结构是B+树，插入数据时，会有大量随机IO，写入性能较差。导入300GB的某省瓦片，耗时4小时。
解决大量数据入库与更新性能瓶颈问题
解决瓦片数据加载导致备节点挂死的问题
问题
云下采用社区版MongoDB 3.4集群保存瓦片数据。导入大量数据时，由于社区版MongoDB的bug(备节点在刷新脏页时候容易进入的一些异常逻辑里，造成cpu内存空消耗)，导致集群shard的备节点CPU使用率100% 从而挂死。
GaussDB(for Mongo)快照应用定制
GaussDB(for Mongo)快照应用定制
华为云对GuassDB For MongoDB数据库进行定制开发和能力升级，通过快照技术实现读写分离，满足地图数据更新时提供一致性服务，快照可实现秒级创建，快照创建后所有读操作自动切换为快照读；快照删除后，所有读操作自动切换到数据库读，天地图业务对快照读写分离技术无感知，不需要做任何改造，整体方案如下：
GaussDB(for Mongo)快照应用定制
通过MongoDB集群快照技术实现数据库的读写分离，同时可以通过创建多个快照副本，实现对不同历史数据的查询，在此期间不影响对数据库的写入。在查询的时候通过指定不同的快照副本，实现对不同历史数据的查询，具体原理如右图所示：
应用成效
天地图以门户网站、服务接口、前置服务等形式向政府、专业部门、企业、公众等用户提供在线地理信息服务，已广泛应用于自然资源、生态环境、统计、应急救灾、气象、水利、农业、交通、公安、安全生产、能源等41个中央部门，并在市政规划、扶贫、传媒等多个领域中发挥了重要作用，有效促进了地理信息资源共享和高效利用。
自然资源行业数据分析
以上是关于国家地理信息公共服务平台天地图GaussDB(for Mongo)应用实践的主要内容，如果未能解决你的问题，请参考以下文章
在C#中通过使用Newtonsoft.Json库来解析天地图地理编码（GeoCoder）服务接口返回的Json格式的数据，以及HttpWebRequest 设置不完全时服务器返回“远程服务器返回错误: