键值数据库LevelDB的优缺点及性能分析
Posted 大数据v
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了键值数据库LevelDB的优缺点及性能分析相关的知识，希望对你有一定的参考价值。
导读：LevelDB是一种为分布式而生的键-值数据库。
作者：廖环宇 张仕华
来源：大数据DT（ID：hzdashuju）
01 LevelDB的特性
LevelDB是一个C++语言编写的高效键-值嵌入式数据库，目前对亿级的数据也有着非常好的读写性能。虽然LevelDB有着许多键-值数据库所不具备的优秀特性，但是与Redis等一些主流键-值数据库相比也有缺陷。本节将对LevelDB的优缺点进行具体阐述。
LevelDB的优点体现在：
key与value采用字符串形式，且长度没有限制；
数据能持久化存储，同时也能将数据缓存到内存，实现快速读取；
基于key按序存放数据，并且key的排序比较函数可以根据用户需求进行定制；
支持简易的操作接口API，如Put、Get、Delete，并支持批量写入；
可以针对数据创建数据内存快照；
支持前向、后向的迭代器；
采用Google的Snappy压缩算法对数据进行压缩，以减少存储空间；
LevelDB的缺点体现在：
不是传统的关系数据库，不支持SQL查询与索引；
只支持单进程，不支持多进程；
不支持多种数据类型；
不支持客户端-服务器的访问模式。用户在应用时，需要自己进行网络服务的封装。
读者可以综合LevelDB的优缺点，有针对性地评估其是否适用于实际开发的项目/产品，并对最终是否使用进行决定。
02 LevelDB的性能分析
在LevelDB的源码中，笔者写了一段用于测试LevelDB性能的代码（db_bench.cc）。经过编译后，生成用于性能测试的可执行程序db_bench。通过运行该性能测试程序，用户能直观地了解LevelDB在海量数据读写方面的性能。
可为测试程序db_bench指定相关测试参数，也可以选择默认参数。db_bench在默认的测试参数下读写百万级别的数据时，每一个数据的key占用16字节，value占用100字节（启用压缩后，value占用50字节，即压缩率为50%）。
db_bench主要针对读与写两个方面进行测试。写性能测试项具体如下。
Fillseq：以顺序写的方式创建一个新的数据库。
Fillrandom：以随机写的方式创建一个新的数据库。
Overwrite：以随机写的方式更新数据库中某些存在的key的数据。
Fillsync：每一次写操作，均将数据同步写到磁盘中才算操作完成；而对于上述3种其他的写操作，只是将需要写的数据送入操作系统的缓冲区就算成功。
读性能测试项具体如下。
Readrandom：以随机的方式进行查询读。
Readseq：按正向顺序读。
Readreverse：按逆向顺序读。
在终端中输入命令执行db_bench，测试程序即可进行相应的读写操作，并记录相应的性能数据。
$ ./db_bench针对上述的几个测试项，表1-1对比了LevelDB官方发布的与笔者实际测试的结果。两者硬件测试环境不同，因而相应测试项的数据也不相同。但总体而言，可以得知LevelDB读写性能的优异。
▼表1-1 LevelDB测试数据
此外，为了更好地测试比较LevelDB的实际性能，Google的工程师也将LevelDB与另外两种数据库（SQLite3和Kyoto TreeDB）进行了对比。经过测试证明，LevelDB相较于另外两种数据库，无论是在基本操作环境下，还是在某些特定配置环境下，均具有非常优秀的读写性能。
具体测试结果，可以参见源码中的leveldb/doc/benchmark.html。
关于作者：廖环宇，中南大学硕士、阿里云高级算法专家与工业大脑算法团队负责人，长期致力于人工智能算法与工业大数据技术的研究和实践，主导过许多大型数据智能平台的开发与应用。
张仕华，贝壳找房资深软件开发工程师，毕业于北京科技大学，曾就职于360、滴滴。热衷源码研究与探究技术本质，合著有《Redis 5设计与源码分析》。
本文摘编自《精通LevelDB》，经出版方授权发布。（ISBN：9787111693260）
《精通LevelDB》
点击上图了解及购买
转载请联系微信：DoctorData
推荐语：阿里、贝壳找房专家联合撰写，深入方法与关键代码层面，多注释与讲解。本书详细剖析LevelDB从使用到设计实现的方方面面，读后可了解谷歌Bigtable数据库的设计精髓。
刷刷视频👇
干货直达👇
更多精彩👇
在公众号对话框输入以下关键词
查看更多优质内容！
读书 | 书单 | 干货 | 讲明白 | 神操作 | 手把手
大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化
AI | 人工智能 | 机器学习 | 深度学习 | NLP
5G | 中台 | 用户画像 | 数学 | 算法 | 数字孪生
据统计，99%的大咖都关注了这个公众号
👇
以上是关于键值数据库LevelDB的优缺点及性能分析的主要内容，如果未能解决你的问题，请参考以下文章