基于爬虫的小湖知识图谱系统测试心得

Posted madongcheng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于爬虫的小湖知识图谱系统测试心得相关的知识,希望对你有一定的参考价值。

我在本次项目中负责的主要部分就是编写爬虫程序,然后将爬取到的程序传递给数据库。所以我本次的测试也是偏重在这方面的。

测试目的就主要是测试出程序依旧存在的不足之处,并以文档的形式记录下来,方便接下来的开发者了解项目历史。

因为没有找到关于爬虫程序的测试工具,所以这次的测试是以黑盒测试的方法,也就是直接运行爬虫程序,对比结果来测试的。

通过测试,我发现了爬虫程序依旧存在的两项不足。

1、爬虫虽然设计成了可以爬取大半的文本格式,但是因为网站文本格式太过繁杂的原因,还是有部分的文本无法爬取,这就导致了部分网页上的信息不能保存到数据库。

2、爬虫没有做词义识别,所以有些无用的信息也被爬取下来,保存 进了数据库。

 

通过这次的测试,除了发现了程序存在的不足之外,我还对我们的项目有了一个更加直观的了解。

 

以上是关于基于爬虫的小湖知识图谱系统测试心得的主要内容,如果未能解决你的问题,请参考以下文章

基于知识图谱的电影推荐问答系统实战

论文笔记基于知识图谱的农业智能问答系统

大数据知识图谱项目——基于知识图谱的医疗知识问答系统(详细讲解及源码)

大数据知识图谱项目——基于知识图谱的医疗知识问答系统(详细讲解及源码)

综述基于知识图谱的推荐系统综述

论文笔记基于知识图谱的智能问答系统研究与设计