Portal数据清理过程说明

Posted 数通畅联

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Portal数据清理过程说明相关的知识,希望对你有一定的参考价值。

Portal门户集成平台作为统一的门户搭建和展现平台,提供综合门户、信息门户、应用门户、数据门户等不同类型门户的建设能力,可以为企业构建门户网站、内部业务中心,同时对企业文档资料进行整合、统一归档,对内部、外部提供资料。通过门户平台的搭建,为企业内部管理提供统一入口,并对外部宣传、客户服务等提供便捷的通道。

Portal门户集成平台提供多种门户的建设方案,在配置和功能完善的过程中,对Portal的相关功能进行升级,使其更好地支撑门户建设,同时对Portal中的历史数据进行清理,保证数据更加准确。

1总体说明 

为了满足Portal功能调整以及网站配置的需要,同时也为了保证后续Portal产品数据的准确全面,对Portal中预置的门户数据进行整合清理,主要针对信息门户的相关文档和图片资源等进行清理。

1.1业务需求

1.对标准产品中信息门户相关的资源进行整合清理,主要是预置门户网站、知识中心、技术博客等相关的文档

2.在清理过程中对文档涉及的相关图片进行清理,包括平台显示的相关图片记录信息,以及在Portal产品中存储的图片资源等需要一并清理;

3.在清理时需要保证文档、平台的图片数据以及产品中的图片资源保持一致,避免垃圾数据的产生;

4.后续Portal上线,需要在Portal标准产品数据的基础上,将现有的网站中的信息门户数据统一迁移合并,重新构建信息门户。

1.2需求说明

1.明确文档、图片数据、图片资源的清理方式,三者统一,避免垃圾数据;

2.对标准产品的数据进行清理,包括不再使用的文档、图片等;

3.数据库图片记录与产品中的图片资源一一对应,数据、名称、路径保持一致,不能出现无法对应的数据;

4.文档中使用的图片都能找到对应的记录,同时有对应的图片资源保证文档正常显示;

5.平台所有的图片都有在文档或其他功能中使用,没有使用的图片作为垃圾数据删除;

1.3清理思路

1.首先对数据库中的图片记录进行清理,删除重复数据; 

2.建立文档和图片的关联表,并初始化关联数据,为每一个图片找到对应的应用场景;

3.对于无法关联,没有应用场景的图片作为垃圾数据删除;

4.对server中的图片资源进行梳理,并根据图片名称、路径等和数据库记录建立一对一关联;

5.对于无法和数据库记录建立关联的图片资源,作为垃圾数据删除,同时对server图片资源的目录进行清理,删除空目录;

6.将图片资源数据整理成数据,导入数据库的临时表中;

7.通过数据库图片记录和临时表进行比对,对于图片记录中多出来的数据作为垃圾数据删除;

8.根据删除的图片记录,对图片关联的文档作为垃圾数据进行删除;

9.根据图片的使用场景(导航、组件、文档)的不同,对图片进行重命名处理,网站图片:web-文档短标题 + 序号,文档图片:art-文档短标题 + 序号

2数据记录

数据记录主要是对Portal数据库中的记录进行删除,主要是针对图片信息表中重复记录进行删除,同时建立图片和文档的关联信息。

2.1重复数据

1.数据库图片信息重复数据的判断主要依赖于图片名称和图片路径,名称和路径相同即为重复数据

2.通过ESB创建一个Http流程用于图片重复数据清理;

3.查询wcm_picture_resource获取全部图片记录; 

4.循环图片记录,将图片名称和路径拼接存储到集合中,并判断如果集合中存在相同记录,说明图片重复,进行删除处理;

5.ESB流程如下:

6.关键判断代码:

2.2建立关联

1.主要建立图片资源与文档的关联,通过关联表存储关联信息;

2.通过ESB创建一个Http流程用于更新图片和文档关联信息;

3.分别查询图片wcm_picture_resource和文档wcm_information数据;

4.先循环图片,再循环文档,通过文档的内容以及文档封面匹配图片的路径,建立图片和文档关联;

5.将关联后的数据写入关联表wcm_info_pic_rel;

6.ESB流程如下:

7.关键处理代码:

2.3数据清理

1.主要用于清理数据库中无法建立关联或没有使用场景的数据

2.查询图片数据wcm_picture_resource;

3.由于图片除文档正文外,还在组件模板、静态数据中有使用,所以需要查询文档、组件模板、静态数据三个场景应用的图片;

4.比对查询结果,如果图片在三个场景中都没有关联,直接进行删除;

5.ESB流程如下:

6.关键处理代码:

    

3资源文件

文件清理主要是对server中存储的图片资源进行清理,主要是无法和数据库中的图片信息表无法关联的数据,对于这些数据要进行统一清理。如果是在产品中使用(页面、文档)但是在数据库中没有图片记录的,也作为垃圾数据删除,后续手动进行维护补充。

3.1文件查询

1.创建一个图片文件服务,主要用于对server中的文件资源进行操作,包括查询、删除、修改等;

2.通过ESB创建Rest服务ImageFilesService,并手动扩展query方法,用于对server中的图片资源进行查询,入参为portal_server的主目录;

3.通过server路径读取uploads文件夹中的图片数据;

4.构建图片名称、相对路径、绝对路径、略缩图路径、后缀等信息,并通过json数组存储,再将数组存储到一个json对象中,并指定key;

5.查询数据库的图片记录wcm_picture_resource,通过比对图片相对路径(包括图片名)进行图片资源和记录的关联,并更新关联标识;

6.不能进行关联的单独作为一个json数组存储到json对象中;

7.将json对象以字符串方法作为返回值输出

8.ESB流程如下:

9.文件读取代码:

10.资源关联代码:

3.2文件删除

1.在ImageFilesService服务中扩展一个删除方法,用于删除无法和数据库记录建立管理的图片资源;

2.先调用ImageFilesService服务中的query查询接口获取图片数据;

3.解析数据获取需要删除的图片信息,根据路径进行图片删除,删除时同步删除略缩图;

4.ESB流程如下:

5.文件删除处理代码:

3.3目录清理

1.在ImageFilesService服务中扩展一个删除目录方法,用于删除server中uploads下的空目录;

2.由于目录是多级,所以需要通过递归的方式进行删除

3.ESB流程如下:

4.删除处理代码:

4数据比对

数据对比主要是图片清理后的数据库数据处理,因为存在部分数据是数据库有记录,但是图片资源已经被删除了,所以需要回查数据库,将数据库中多余的记录删除,同时也要对应用的功能进行处理。

4.1数据导入

1.数据对比主要是通过查询接口查出server中的图片资源,并导出到数据库的临时表中;

2.先调用查询接口获取图片数据(json对象):

3.手动处理结果,提取json对象中存储全部图片信息的json数组,并保存成.json格式文件:

4.将json数据导入数据库临时表中:

4.2图片删除 

1.通过数据库关联查询,对比图片资源表wcm_picture_resource多出来的图片记录;

2.将多出来的图片记录在数据库中进行删除,同时将图片文档关联表wcm_info_col_rel中的关联删除;

3.图片表关联查询:

4.关联表查询:

4.3文档处理

1.基于处理后的图片对文档进行处理;

2.通过数据库关联查询确定无法关联图片的文档:

3.对查询到的结果进行手动处理:

(1)历史文档不在应用:直接删除;

(2)在使用文档但图片已缺失:找到对应图片重新上传,并调整文档配置;

(3)文档中图片目录存在问题导致无法关联的:重新配置文档,缺少图片就重新上传。

5总结分析

本次数据清理是基于Portal门户集成功能完善的需要进行的一次整体梳理,在这过程中对标准产品中的内容进行了整体检查,结合ESB对历史数据进行清理,保障了后续产品数据的准确性。

5.1功能优化

针对Portal中图片以及使用图片的相关功能进行了整体优化,加强的了文档和图片的强关联,保证图片和文档对应的有效性,图片随文档进行管理维护,与文档的生命周期保持同频,杜绝了后续图片、文档无法有效对应的问题。统一了图片的维护入口,使后续文档和图片的维护更加便捷,在使用性能上有了全面的提升。

5.2应用模式

Portal门户集成平台作为门户的统一配置和展现平台,通过构建应用门户,为企业提供了统一的应用入口,并通过集成各个系统的核心业务数据,使企业员工可以在应用中心中完成大部分业务操作,提高了工作效率;同时Portal还具备门户网站、信息门户、外部门户等多种门户构建能力,能为企业内外部的宣传和业务往来提供全面支撑。

5.3集成场景

Portal门户集成平台作为企业统一的门户和应用入口,虽然具备独立的应用能力,但是对于应用门户、数据门户等集成性门户需要和各个业务系统进行集成对接,将业务系统的入口、应用、数据等集成到门户中进行统一管理,如消息、待办、日程、人事、运营、财务等数据集成到门户展现,但一般Portal采用接口集成,不做数据落地。

在目前主推的技术解决方案,如集成底座、数据中台等,都结合Portal产品作为统一入口,通过菜单、应用、数据集成的方式将产品功能统一到门户中,一般的业务类操作直接在Portal上完成。对企业而言,在进行信息化建设的过程中,打通系统壁垒、实现数据互通、统一监管、统一维护是提升信息化价值的重要方式,而通过应用系统的整合、管理入口的统一能大大提升管理的效率。 

以上是关于Portal数据清理过程说明的主要内容,如果未能解决你的问题,请参考以下文章

集成底座统一认证配置说明

集成底座POC演示流程说明

集成底座POC演示流程说明

集成底座POC方案说明

集成底座项目典型数据下发方式对比说明

集成底座与业务系统对接过程梳理