tensorflow

Posted 2021-03-20 yangyang12138

一、模型托管工具 TensorFlow Serving

　　TensorFlow Serving支持生产级的服务部署，允许用户快速搭建从模型训练到服务发布的工作流水线。

　　工作流水线主要由三部分构成

　　(1).持续训练过程:基于持续输入的批数据，使用TensorFlow不断训练模型，并将模型定期保存到指定目录

　　(2).模型服务:发布训练好的模型，对外提供基于gRPC协议的模型服务API，同时支持模型的不断更新

　　(3).客户端访问：使用基于gRPC协议的客户端程序向模型服务发起请求，并等待服务的响应结果。

二、服务的架构

　

 

 其中，Loader、Source、Manager和SerableHandle是基于C++ 实现的核心类和接口，Servable、SavedModel和VersionPolicy是模型相关的插件模块。Client是用户实现的gRPC客户端，用于向Manager加载模型服务发起请求。