Flink改进的BLOB存储架构

Posted 2022-02-13 九师兄

1.概述

翻译：FLIP-19: Improved BLOB storage architecture

2.动机

目前围绕BLOB服务器和缓存组件的架构似乎已经修补过了，并且在并发性([FLINK-6380])、清理、API不一致性/当前未使用的API ([FLINK-6329]， [FLINK-6008])方面存在一些问题。这使得将来与FLIP-6或扩展(如卸载过大的RPC消息([FLINK-6046]))的集成变得困难。因此，我们建议对当前体系结构进行改进，如下所述，该改进解决了这些问题，提供了一些清理，并支持进一步的BLOB服务器用例。

3.公共接口

建议的更改主要影响后端，而不是面向用户的。

目前，我们也不计划对配置或监控信息进行任何更改，除了:

• “library-cache-manager.cleanup.interval”: replace by to “blob.retention.interval” and reduce its default value (currentl