国家数字交换系统工程技术研究中心张帆等 | MDLB：一种基于强化学习的元数据动态负载均衡机制

Posted 2021-04-15 信息与电子工程前沿FITEE

内容介绍

中文摘要：

随着信息和数据量增长，面向对象的存储系统已被广泛应用到很多领域，包括Google文件系统、AmazonS3、Hadoop分布式文件系统和Ceph。其中元数据负载均衡在提高整个系统输入/输出性能方面起着重要作用，元数据负载不平衡会导致服务器出现严重的系统性能瓶颈问题。然而现有元数据负载平衡策略缺乏良好动态性和适用性，如基于子树分割或者哈希的负载策略。提出一种基于强化学习的动态负载平衡机制（MDLB）。采用Q_learning算法，所提基于强化学习机制由3个模块组成，即策略选择网络、负载均衡网络和参数更新网络。实验结果表明MDLB算法可根据元数据服务器的性能动态调节负载，在数据量骤变情况下仍具有很好适应性。

关键词：

面向对象的存储系统；元数据；动态负载均衡；强化学习；Q_learning

作者：

武兆琪 ¹，卫今 ^2,3，张帆 ¹，郭威 ¹，谢光伟 ^2,3

单位： 1国家数字交换系统工程技术研究中心，中国郑州市，450002 2复旦大学计算机科学技术学院，中国上海市，200433 3复旦大学大数据研究院，中国上海市，200433 本文引用格式： Zhao-qi Wu, Jin Wei, Fan Zhang, Wei Guo, Guang-wei Xie. MDLB: a metadata dynamic load balancing mechanism based on reinforcement learning[J]. Frontiers of Information Technology & Electronic Engineering, 2020, 21(7): 1034-1046. https://doi.org/10.1631/FITEE.1900121

本文精要导读：

武兆琪（1995—），男，山西运城人，硕士。2017年于电子科技大学获得学士学位，2019年于信息工程大学获得硕士学位。主要从事分布式存储、拟态防御方面的研究。E-mail: [e-mail]

卫今（1995—），女，陕西西安人。2017年于西北工业大学获得学士学位，现于复旦大学攻读博士学位。主要从事网络安全、拟态防御、软件多样化方面的研究。E-mail: [e-mail]

谢光伟（1980—），男，湖北省公安县人。现于复旦大学攻读博士学位。主要从事内生安全拟态防御、数据科学与工程等方面的研究。E-mail: [e-mail]

点击下方“阅读全文”，下载全文PDF

关于本刊

Frontiers of Information Technology & Electronic Engineering（简称FITEE，中文名《信息与电子工程前沿（英文）》，ISSN 2095-9184，CN 33-1389/TP）是信息电子类综合性英文学术月刊，SCI-E、EI收录，最新影响因子1.604。前身为2010年创办的《浙江大学学报英文版C辑：计算机与电子》，2015年更为现名，现为中国工程院信息与电子工程学部唯一院刊。覆盖计算机、信息与通信、控制、电子、光学等领域。文章类型包括研究论文、综述、个人视点、评述等。现任主编为中国工程院院士潘云鹤、卢锡城，实行国际同行评审制，初次转达意见一般在2~3个月内。文章一经录用将快速在线。

2019年，荣获中国科协等七部委推出的中国科技期刊卓越行动计划项目资助（梯队期刊）。

官网：http://www.jzus.zju.edu.cn

期刊Springer主页：

http://www.springer.com/computer/journal/11714

在线投稿：

http://www.editorialmanager.com/zusc

微信加群

---

为方便广大科研人员交流讨论，本平台建有以下学科微信群。有需要加群的用户，请加小编个人微信号fitee_xb，并留言想要加入的群，小编会拉您进群。营销广告人员请勿扰。

计算机科学与技术学术群	光学工程与技术学术群
控制科学与技术学术群	信息与通信学术群
电力电子学术群	人工智能学术

加关注  ID: fitee_cae