iotdb的来源以及“厉害之处”-2

Posted 2021-09-17 健康平安的活着

一 iotdb

Apache IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB 采用轻量式架构，具有高性能和丰富的功能，并与Apache Hadoop、Spark和Flink等进行了深度集成，可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。

1.1 特点

1.高吞吐量读写：Apache ioTDB中可以支持数百万个低能耗和智能联网设备的高速写访问，他还提供数据快速读取访问查询。

2.低硬件成本的存储解决方案

• 高压缩比的磁盘存储（10亿数据点硬盘成本低于1.4元）

3.高通量的时间序列数据读写

• 支持百万级低功耗强连接设备数据接入（海量）
• 支持智能网联设备数据高速读写（高速）
• 以及同时具备上述特点的混合负载

4.面向时间序列的丰富查询语义

• 跨设备、跨传感器的时间序列时间对齐
• 面向时序数据特征的计算
• 提供面向时间维度的丰富聚合函数支持

5.极低的学习门槛

• 支持类SQL的数据操作
• 提供JDBC的编程接口
• 完善的导入导出工具

6.完美对接开源生态环境

• 支持开源数据分析生态系统：Hadoop、Spark
• 支持开源可视化工具对接：Grafana

7.活的部署方式

• 云端一键部署
• 终端解压即用
• 终端-云端无缝连接（数据云端同步工具）

 IoTDB 作为高性能轻量级的开源物联网原生数据库成为 Apache 大数据生态的重要成员，聚焦工业物联网，具备低存储成本、高速数据写入（千万数据点秒级写入、高效乱序数据处理）、快速查询（TB 级数据秒级查询）、功能完备（数据的增删改查、丰富的聚合函数）、查询分析一体化（一份数据，满足实时查询与分析挖掘）、边云协同、简单易用（采用标准的 JDBC 接口、类 SQL 查询语言）等特点。

 1.2 研究论文

Apache IoTDB 始于清华大学软件学院。IoTDB 是一个用于管理大量时间序列数据的数据库，它采用了列式存储、数据编码、预计算和索引技术，具有类 SQL 的接口，可支持每秒每节点写入数百万数据点，可以秒级获得超过数万亿个数据点的查询结果。它还可以很容易地与 ApacheHadoop、MapReduce 和 Apache Spark 集成以进行分析。

 1.3 体系架构

IoTDB套件由若干个组件构成，共同形成“数据收集-数据写入-数据存储-数据查询-数据可视化-数据分析”等一系列功能。

如下图展示了使用IoTDB套件全部组件后形成的整体应用架构。下文称所有组件形成IoTDB套件，而IoTDB特指其中的时间序列数据库组件。

在上图中，用户可以通过JDBC将来自设备上传感器采集的时序数据、服务器负载和CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接写成本地（或位于HDFS上）的TsFile文件。

可以将TsFile文件写入到HDFS上，进而实现在Hadoop或Spark的数据处理平台上的诸如异常检测、机器学习等数据处理任务。

对于写入到HDFS或者本地的TsFile文件，可以利用TsFile-Hadoop或TsFile-Spark连接器允许Hadoop或Spark进行数据处理。

对于分析的结果，可以写回成TsFile文件。

IoTDB和TsFile还提供了相应的客户端工具，满足用户查看和写入数据的SQL形式、脚本形式和图形化形式等多种需求

1.4 场景应用

https://iotdb.apache.org/zh/UserGuide/V0.12.x/IoTDB-Introduction/Scenario.html