智慧水务系统如何进行有效的数据架构整改？三个企业的改造实践分享

Posted 2023-05-26 涛思数据TDengine

本篇文章汇总了三个典型智慧水务场景下的数据架构升级实践，给到大家参考。

在智慧水务系统中，往往需要对设备中产生的液位、电流、水量等实时指标数据进行存储、分析及监控操作，而这些都是典型的时序数据。面对这些数据的处理时，很多企业在前期选择的大都是传统的实时数据库甚至关系型数据库，随着设备数量的增加，数据量也达到了百万、千万量级，传统的数据库解决方案已经无法满足业务需求。为了帮助有以上问题的企业更好地进行数据架构整改，本篇文章汇总了三个典型智慧水务场景下的数据架构升级实践，给到大家参考。

禹为科技 x TDengine

“TDengine 的消息订阅、缓存、流式计算等诸多特性，可以代替 Kafka、OpenTSDB 和 Flink，减少业务代码中定时计算（如用水量）等功能，简化了整体架构。在架构简化以后，排查和定位问题也能得到快速响应，开发和运维成本大大节约。同时，TDengine 替代了 OpenTSDB+Redis+MySQL，提高了数据实时性和一致性，其表结构设计合理，可以节省存储空间，进而节省存储费用。”

 

业务背景

相较于水利信息化系统，禹为科技灌区信息化平台具有设备厂家多、数据多且存储周期长、数据类型较为集中、需要实时展示的指标较多等特点。为了解耦系统中的数据接入和数据分析，禹为科技将数据的接入和计算分析拆分为独立的通用物联网平台及大数据平台，在现代灌区信息化平台的建设过程中，经历了数据库&定时任务的架构、以流式计算为核心的架构和以 TDengine 为核心的架构三个阶段，最终选用 TDengine 帮助其对水位、流量、水量等实时指标数据分析。

 

架构图

点击案例查看更多技术细节

鼎蓝水务 x TDengine

“使用感受就是 TDengine 的数据处理性能非常高。现在的接入网关的设备数是 23 个液位、9 个频率计、9 个电流计、10个拦蓄盾、3个泵站、3个截留井、1个泵闸，总共有 40 张表，每张表每天新增 6 万条数据，现在每张表的大约三百万条数据。使用 TDengine 带来的最大好处是不用再考虑 SQLServer 中的分库分表操作，数据不断写入一个月后，查询时延也没有增加。而且我们发现 TDengine 在处理 13 个设备、百万量级的数据量写入任务时，内存开销只有 1.5GB，查询时内存增长也觉察不出来，整体内存开销比 SQLServer 降低了 50%。”

 

业务背景

鼎蓝水务智慧排水系统需要处理来自拦蓄盾检测设备上报的数据。在这些监测数据的处理流程上，数据从网关推送过来后会有一个判断是否实时数据。此前所有数据都是使用 SQL Server 存储，数据量达到 2000 万后 SQL Server 的查询时延就变得非常慢，不得不做分库分表操作来提高查询速度，但这个解决方法遇到跨库跨表的查询非常不便。架构改造后，对于非实时数据，则会流经 Redis 去重，做报警判断然后写入 SQL Server；对于实时数据则直接写入TDengine，不需要再经过 Redis，之后前端需要的一些类似液位电流数据等就可以直接从 TDengine 访问。

 

数据处理流程图

点击案例查看更多技术细节

万朗智水 x TDengine

“设置参数为十万张点表，每个点表 1s 需要存储 1 条记录。在实际测试过程中，使用 HTTP 接口，采用单机 4C16GB 的配置，8 线程每次写 500 条记录，10 万条记录写入只需要 300ms（如果使用 java 客户端更快）；单变量采样查询基本在 2ms 内完成。整个测试持续了 48 小时，测试期间 CPU 在 20%-30% 之间，内存维持在 6GB 左右，写入相当稳定，没有出现超时。查询方面，我们使用 MySQL 查询 3 个点一年的数据直接请求超时，使用 TDengine 基本 2s 左右就能返回给页面进行渲染。写入和查询速度比 OpenTSDB 都还高一个级别。”

 

业务背景

万朗智水水环境综合治理运维系统需要对截流井设备中的液位、电流、硫化氢等进行监测，并通过 PLC 程序进行自动化管理设备的启停与报警短信推送。系统前期版本使用了 MySQL 来存储设备上报数据。但接入系统的设备量日益增长、用户对数据实时性反馈的要求也越来越高，MySQL已经无法满足业务需求——随着业务在不断扩张，站点在不断增加的情况下，频繁的跨表操作 MySQL 查询出现了延时甚至超时死锁的情况。随后在数据库调研中，万朗智水发现将设备数据转移到时序数据库（Time Series Database） TDengine 中存储是个更好的解决方案。

 

数据传输路径

传感器采集的信息通过 MQTT 协议传到网关，网关收集到信息后会定时推送到业务后台服务，由服务层来做数据存储和实时分析。设备运行业务数据放在 MySQL 中，液位、电流频率、硫化氢、雨量物联网数据则存储在 TDengine 中。

点击案例查看更多技术细节

结语

从以上案例不难看出，在智慧水务场景下，面对不断增长的设备数量、庞大的时序数据处理需求，专业的时序数据库显然比传统数据库解决方案效果更加明显，不管是在写入还是查询抑或是存储上都有很大改善，资源开销成本也变得更低。如果你有同样的困扰，欢迎添加小T vx：tdengine1，我们会邀请你进入TDengine 用户交流群，和志同道合的研发小伙伴共同解决数据难题。

 

 

智慧水务未来技术发展方向预测探讨

随着科技的不断发展和城市化的加速，智慧水务作为一种新的水务模式，逐渐受到广泛关注。未来，智慧水务将会面临更多的技术挑战和商机。本博客将对智慧水务的未来技术发展方向进行预测，以探讨智慧水务未来可能的技术重点。

1. 人工智能技术的应用

未来，人工智能技术将成为智慧水务领域的重要技术。智慧水务通过传感器、物联网等技术，实现对水资源的实时监测和控制，产生了大量的数据。这些数据需要经过深入分析和处理，才能够更好地指导水资源的管理和利用。人工智能技术可以通过数据挖掘、机器学习等手段，对大量的数据进行分析和处理，提高水资源的利用效率和管理水平。因此，未来，人工智能技术将成为智慧水务领域的重要技术之一。

2. 物联网技术的进一步发展

物联网技术是实现智慧水务的基础技术，未来，物联网技术将进一步发展。智慧水务通过传感器、云计算等技术，实现对水资源的实时监测和控制。这需要物联网技术的支持，实现设备之间的信息共享和协同作业。未来，物联网技术将面临更多的挑战和机遇，例如如何保证传输数据的安全性、如何提高网络的可靠性和稳定性等问题。因此，未来，物联网技术将不断发展，推动智慧水务的发展。

3. 大数据技术的应用

随着智慧水务技术的发展，产生了大量的数据。这些数据需要进行分析和处理，才能够更好地指导水资源的管理和利用。大数据技术可以通过分析和处理这些数据，提取有效信息，优化水资源的分配和利用。未来，大数据技术将成为智慧水务领域的重要技术之一。

4. 云计算技术的应用

云计算技术是实现智慧水务的关键技术之一，未来，云计算技术的应用将不断深入。智慧水务需要实现设备之间的信息共享和协同作业，这需要大规模的计算和存储资源。云计算技术可以提供高效、可靠的计算和存储资源，支持智慧水务的实现。未来，随着云计算技术的不断发展和普及，智慧水务将更加依赖云计算技术，推动云计算技术的应用不断深入。

5. 区块链技术的应用

区块链技术是近年来新兴的技术，具有不可篡改、去中心化等特点，未来，区块链技术的应用将在智慧水务领域得到广泛应用。区块链技术可以提供去中心化、可信、安全的数据存储和交换平台，保证水资源数据的安全性和可信性。未来，区块链技术将成为智慧水务领域的重要技术之一。

6. 智能感知技术的应用

智能感知技术是实现智慧水务的关键技术之一，未来，智能感知技术的应用将不断深入。智能感知技术通过传感器等设备，对水资源进行实时监测和控制，实现对水资源的高效利用和管理。未来，随着智能感知技术的不断发展，智慧水务将更加依赖智能感知技术，推动智能感知技术的应用不断深入。

7. 虚拟现实技术的应用

虚拟现实技术是一种新兴的技术，具有高度逼真的视觉效果和沉浸式体验，未来，虚拟现实技术的应用将在智慧水务领域得到广泛应用。虚拟现实技术可以通过模拟不同的水资源场景，提高水资源管理人员的应对能力和决策水平。未来，虚拟现实技术将成为智慧水务领域的重要技术之一。

8. 机器人技术的应用

机器人技术是实现智慧水务的关键技术之一，未来，机器人技术的应用将不断深入。机器人技术可以通过自主导航、自主识别等功能，实现对水资源的实时监测和控制，提高水资源管理的效率和水平。未来，随着机器人技术的不断发展，智慧水务将更加依赖机器人技术，推动机器人技术的应用不断深入。

9. 生物技术的应用

生物技术是一种新兴的技术，可以通过微生物等生物方法，对水资源进行处理和利用。未来，生物技术的应用将在智慧水务领域得到广泛应用。生物技术可以实现对污水的高效处理，减少水污染，保护水资源。未来，生物技术将成为智慧水务领域的重要技术之一。

10. 网格技术的应用

网格技术是一种新兴的技术，可以实现资源的共享和协同工作。未来，网格技术的应用将在智慧水务领域得到广泛应用。网格技术可以通过实现智慧水务设备的信息共享和协同作业，提高水资源管理的效率和水平。未来，网格技术将成为智慧水务领域的重要技术之一。

11. 结语

综上所述，未来智慧水务的技术发展方向将涉及人工智能、物联网、大数据、云计算、区块链、智能感知、虚拟现实、机器人、生物技术和网格技术等方面。这些新兴技术将为智慧水务的发展提供强有力的支撑和保障，推动智慧水务的不断创新和发展。随着技术的不断进步和智慧水务的不断发展，未来智慧水务的应用场景将更加丰富和多样，为人们创造更加美好的生活和环境。