联通大数据能力开放平台API网关管理介绍

Posted 2021-04-21 中国联通大数据

背景

中国联通总部建立以混搭架构为基础的大数据平台，采集并整合31省BSS、上网记录数据、信令日志数据，形成可共享的数据资源池。这些数据在加工汇总后会以多种方式服务于省分和总部大数据域各应用系统以及外部合作业务，其中重要的一种服务方式就是提供API服务。随着各系统和平台提供的API服务数量大量增加，平台和租户之间、租户和租户之间、内部和外部之间，域内和域外之间API调用关系越来越复杂，调用量线性增加，接口服务质量、统一的安全管控也成为一个重要指标。为做好API服务集中、安全、高效、开放，大数据能力开放平台建设API集中管理模块。在服务于已经入驻到开放平台租户的同时也对大数据域的其它系统开放。

API 管理实践

能力开放平台结合数据共享需求和数据安全原则，规范了API服务开放的业务流程，包括开放、阻塞、废弃、销毁等全生命周期管理和API定义、发布、订阅等业务需求管理。同时提供整套安全防护手段包括安全认证，流量控制、防恶意攻击，API调用质量分析，计次计价等功能。

API 设计

 REST接口开发

为了提升API设计开发效率，能力开放平台开发了一套在线设计生成API的工具。

开发人员可以使用可视化界面对API进行url、参数、返回值等接口信息描述定义，即时生成Swagger在线文档；界面配置Hbase、Redis、Oracle、mysql等数据源，设置rowkey规则、自定义sql等，在线生成API项目；针对生成的API，开发人员既可以直接部署测试，也可以进行二次开发。

在API设计方面，考虑接口定义的易用性及通用性，采用了当前流行的RESTful风格，简单、轻量、调用方便。

团队之间API定义的互通尤为重要，在线文档是比较好的展现方式。在对API文档的统一归档管理方面，使用Swagger工具来定义RESTful风格的API服务。Swagger工具完整支持REST接口，提供在线文档展示模式，风格一致，一目了然，并且提供在线测试的功能。

API 应用

API注册

API管理人员在API注册页面注册、发布、管理API。API管理涉及API生命周期管理以及版本维护、文档等；API注册时，使用swagger UI创建规范的API接口文档。

API商店

API商店提供了所有API的浏览检索，并且根据分类、标签等进行API筛选。订阅者在商店中自助浏览、订阅、测试已经发布的API服务。

API审核

提供API审核流程，管理员审核申请方是否有权限使用申请的API，在能力开放平台使用流程引擎进行对订阅申请的审核。 申请者在我的审核页面可通过审核状态和API名称对审核API进行快速查询，查询显示出API提供者、API名称、版本、创建时间、审核状态并可以对不同的API进行查看或者跟踪的功能。

API调用

API管理提供了完整的API调用过程：在调用请求中通过访问密钥（TOKEN信息）来保障API调用的安全性。网关根据客户访问密钥（TOKEN信息）判断当前用户是否可以访问此API，通过确权后，会将请求继续传递到后端API服务并获取最终结果返还给请求端，否则将直接阻断服务。

API沙箱环境

辅助调用方接口调试，平台提供了沙箱环境，技术细节不再详述。沙箱环境与生产环境相互隔离，但是具备相同的功能。

API 管理

API安全

API伪装：API提供者在注册发布API项目时重新定义url路径，进行API对外开放的重新编排，从而达到隐藏内部真实路径的目的；

API可见性：API提供者设置API服务对特定用户可见，可以只针对部分特定用户使用；

API审核：用户在订阅API服务时，必须要经过流程审批才能够订阅成功，审核流程可以隔离大部分非必须订阅使用。

API安全验证：保障API被安全调用的重要技术手段。API服务作为API的网关路由方提供了一套安全管理的机制。技术实现主要包括：通过Oauth2协议获取TOKEN进行身份验证、API流量控制、限制TOKEN对特定IP域名生效、TOKEN令牌时效限制、阻塞API订阅等。网关与验证服务器合作检查调用API的 OAuth令牌有效性。用于验证的所有令牌都是基于OAuth 2.0协议的。验证服务组件和网关组件的解耦且分别支持集群部署为整个系统提供了良好的扩展性。

API限流：限制应用的调用频次，通过并发量的监控，可以自动阻断网络攻击，保护服务提供端的系统安全。

 API 监控

为监控API服务的调用情况，建设了API管理的监控分析系统。API服务每次的调用情况都会在API网关有日志记录，监控分析系统通过各维度统计，分析不同指标，得出统计结果，比如API服务调用质量、调用频次、响应时间、调用报文等图表报告。

调用质量，调用成功失败次数：

调用频次，时间范围内调用次数统计：

响应时间，API接口请求相应平均时间：

API 管理部署模式

API gateway网关支持集群部署、水平扩展，实现高性能、高可用的目标。并且分离沙箱及正式环境。

应用入口

在能力开放平台首页提供了API服务入口。

应用场景

例如某API发布者将征信API服务对外开放，API发布者将该征信API服务进行注册发布。API使用者在API商店可浏览查询出该征信API服务，发起订阅审核流程，并通过统一的安全认证网关，实现最终的服务调用功能。

未来发展

通过API集中管理，可以安全可靠且大规模地将 API开放出来。现在API管理已涵盖从预配用户角色、管理发布服务到调用、分析、监控的方方面面。随着API服务不断扩展，并结合大数据中心业务需要和管理需要，今后还将在支撑多样化的计费结算功能，智能化的安全防控等方面提升优化。

欢迎关注“联通大数据”服务号，

“中国联通大数据”订阅号及新浪微博！