Portal数据清理过程说明

Posted 2023-02-21 数通畅联

Portal门户集成平台作为统一的门户搭建和展现平台，提供综合门户、信息门户、应用门户、数据门户等不同类型门户的建设能力，可以为企业构建门户网站、内部业务中心，同时对企业文档资料进行整合、统一归档，对内部、外部提供资料。通过门户平台的搭建，为企业内部管理提供统一入口，并对外部宣传、客户服务等提供便捷的通道。

Portal门户集成平台提供多种门户的建设方案，在配置和功能完善的过程中，对Portal的相关功能进行升级，使其更好地支撑门户建设，同时对Portal中的历史数据进行清理，保证数据更加准确。

1总体说明 

为了满足Portal功能调整以及网站配置的需要，同时也为了保证后续Portal产品数据的准确全面，对Portal中预置的门户数据进行整合清理，主要针对信息门户的相关文档和图片资源等进行清理。

1.1业务需求

1.对标准产品中信息门户相关的资源进行整合清理，主要是预置门户网站、知识中心、技术博客等相关的文档；

2.在清理过程中对文档涉及的相关图片进行清理，包括平台显示的相关图片记录信息，以及在Portal产品中存储的图片资源等需要一并清理；

3.在清理时需要保证文档、平台的图片数据以及产品中的图片资源保持一致，避免垃圾数据的产生；

4.后续Portal上线，需要在Portal标准产品数据的基础上，将现有的网站中的信息门户数据统一迁移合并，重新构建信息门户。

1.2需求说明

1.明确文档、图片数据、图片资源的清理方式，三者统一，避免垃圾数据；

2.对标准产品的数据进行清理，包括不再使用的文档、图片等；

3.数据库图片记录与产品中的图片资源一一对应，数据、名称、路径保持一致，不能出现无法对应的数据；

4.文档中使用的图片都能找到对应的记录，同时有对应的图片资源保证文档正常显示；

5.平台所有的图片都有在文档或其他功能中使用，没有使用的图片作为垃圾数据删除；

1.3清理思路

1.首先对数据库中的图片记录进行清理，删除重复数据； 

2.建立文档和图片的关联表，并初始化关联数据，为每一个图片找到对应的应用场景；

3.对于无法关联，没有应用场景的图片作为垃圾数据删除；

4.对server中的图片资源进行梳理，并根据图片名称、路径等和数据库记录建立一对一关联；

5.对于无法和数据库记录建立关联的图片资源，作为垃圾数据删除，同时对server图片资源的目录进行清理，删除空目录；

6.将图片资源数据整理成数据，导入数据库的临时表中；

7.通过数据库图片记录和临时表进行比对，对于图片记录中多出来的数据作为垃圾数据删除；

8.根据删除的图片记录，对图片关联的文档作为垃圾数据进行删除；

9.根据图片的使用场景（导航、组件、文档）的不同，对图片进行重命名处理，网站图片：web-文档短标题 + 序号，文档图片：art-文档短标题 + 序号。

2数据记录

数据记录主要是对Portal数据库中的记录进行删除，主要是针对图片信息表中重复记录进行删除，同时建立图片和文档的关联信息。

2.1重复数据

1.数据库图片信息重复数据的判断主要依赖于图片名称和图片路径，名称和路径相同即为重复数据；

2.通过ESB创建一个Http流程用于图片重复数据清理；

3.查询wcm_picture_resource获取全部图片记录； 

4.循环图片记录，将图片名称和路径拼接存储到集合中，并判断如果集合中存在相同记录，说明图片重复，进行删除处理；

5.ESB流程如下：

6.关键判断代码：

2.2建立关联

1.主要建立图片资源与文档的关联，通过关联表存储关联信息；

2.通过ESB创建一个Http流程用于更新图片和文档关联信息；

3.分别查询图片wcm_picture_resource和文档wcm_information数据；

4.先循环图片，再循环文档，通过文档的内容以及文档封面匹配图片的路径，建立图片和文档关联；

5.将关联后的数据写入关联表wcm_info_pic_rel；

6.ESB流程如下：

7.关键处理代码：

2.3数据清理

1.主要用于清理数据库中无法建立关联或没有使用场景的数据；

2.查询图片数据wcm_picture_resource；

3.由于图片除文档正文外，还在组件模板、静态数据中有使用，所以需要查询文档、组件模板、静态数据三个场景应用的图片；

4.比对查询结果，如果图片在三个场景中都没有关联，直接进行删除；

5.ESB流程如下：

6.关键处理代码：

    

3资源文件

文件清理主要是对server中存储的图片资源进行清理，主要是无法和数据库中的图片信息表无法关联的数据，对于这些数据要进行统一清理。如果是在产品中使用（页面、文档）但是在数据库中没有图片记录的，也作为垃圾数据删除，后续手动进行维护补充。

3.1文件查询

1.创建一个图片文件服务，主要用于对server中的文件资源进行操作，包括查询、删除、修改等；

2.通过ESB创建Rest服务ImageFilesService，并手动扩展query方法，用于对server中的图片资源进行查询，入参为portal_server的主目录；

3.通过server路径读取uploads文件夹中的图片数据；

4.构建图片名称、相对路径、绝对路径、略缩图路径、后缀等信息，并通过json数组存储，再将数组存储到一个json对象中，并指定key；

5.查询数据库的图片记录wcm_picture_resource，通过比对图片相对路径（包括图片名）进行图片资源和记录的关联，并更新关联标识；

6.不能进行关联的单独作为一个json数组存储到json对象中；

7.将json对象以字符串方法作为返回值输出；

8.ESB流程如下：

9.文件读取代码：

10.资源关联代码：

3.2文件删除

1.在ImageFilesService服务中扩展一个删除方法，用于删除无法和数据库记录建立管理的图片资源；

2.先调用ImageFilesService服务中的query查询接口获取图片数据；

3.解析数据获取需要删除的图片信息，根据路径进行图片删除，删除时同步删除略缩图；

4.ESB流程如下：

5.文件删除处理代码：

3.3目录清理

1.在ImageFilesService服务中扩展一个删除目录方法，用于删除server中uploads下的空目录；

2.由于目录是多级，所以需要通过递归的方式进行删除；

3.ESB流程如下：

4.删除处理代码：

4数据比对

数据对比主要是图片清理后的数据库数据处理，因为存在部分数据是数据库有记录，但是图片资源已经被删除了，所以需要回查数据库，将数据库中多余的记录删除，同时也要对应用的功能进行处理。

4.1数据导入

1.数据对比主要是通过查询接口查出server中的图片资源，并导出到数据库的临时表中；

2.先调用查询接口获取图片数据（json对象）：

3.手动处理结果，提取json对象中存储全部图片信息的json数组，并保存成.json格式文件：

4.将json数据导入数据库临时表中：

4.2图片删除 

1.通过数据库关联查询，对比图片资源表wcm_picture_resource多出来的图片记录；

2.将多出来的图片记录在数据库中进行删除，同时将图片文档关联表wcm_info_col_rel中的关联删除；

3.图片表关联查询：

4.关联表查询：

4.3文档处理

1.基于处理后的图片对文档进行处理；

2.通过数据库关联查询确定无法关联图片的文档：

3.对查询到的结果进行手动处理：

(1)历史文档不在应用：直接删除；

(2)在使用文档但图片已缺失：找到对应图片重新上传，并调整文档配置；

(3)文档中图片目录存在问题导致无法关联的：重新配置文档，缺少图片就重新上传。

5总结分析

本次数据清理是基于Portal门户集成功能完善的需要进行的一次整体梳理，在这过程中对标准产品中的内容进行了整体检查，结合ESB对历史数据进行清理，保障了后续产品数据的准确性。

5.1功能优化

针对Portal中图片以及使用图片的相关功能进行了整体优化，加强的了文档和图片的强关联，保证图片和文档对应的有效性，图片随文档进行管理维护，与文档的生命周期保持同频，杜绝了后续图片、文档无法有效对应的问题。统一了图片的维护入口，使后续文档和图片的维护更加便捷，在使用性能上有了全面的提升。

5.2应用模式

Portal门户集成平台作为门户的统一配置和展现平台，通过构建应用门户，为企业提供了统一的应用入口，并通过集成各个系统的核心业务数据，使企业员工可以在应用中心中完成大部分业务操作，提高了工作效率；同时Portal还具备门户网站、信息门户、外部门户等多种门户构建能力，能为企业内外部的宣传和业务往来提供全面支撑。

5.3集成场景

Portal门户集成平台作为企业统一的门户和应用入口，虽然具备独立的应用能力，但是对于应用门户、数据门户等集成性门户需要和各个业务系统进行集成对接，将业务系统的入口、应用、数据等集成到门户中进行统一管理，如消息、待办、日程、人事、运营、财务等数据集成到门户展现，但一般Portal采用接口集成，不做数据落地。

在目前主推的技术解决方案，如集成底座、数据中台等，都结合Portal产品作为统一入口，通过菜单、应用、数据集成的方式将产品功能统一到门户中，一般的业务类操作直接在Portal上完成。对企业而言，在进行信息化建设的过程中，打通系统壁垒、实现数据互通、统一监管、统一维护是提升信息化价值的重要方式，而通过应用系统的整合、管理入口的统一能大大提升管理的效率。