基于爬虫的小湖知识图谱系统测试心得

Posted 2021-02-01 madongcheng

我在本次项目中负责的主要部分就是编写爬虫程序，然后将爬取到的程序传递给数据库。所以我本次的测试也是偏重在这方面的。

测试目的就主要是测试出程序依旧存在的不足之处，并以文档的形式记录下来，方便接下来的开发者了解项目历史。

因为没有找到关于爬虫程序的测试工具，所以这次的测试是以黑盒测试的方法，也就是直接运行爬虫程序，对比结果来测试的。

通过测试，我发现了爬虫程序依旧存在的两项不足。

1、爬虫虽然设计成了可以爬取大半的文本格式，但是因为网站文本格式太过繁杂的原因，还是有部分的文本无法爬取，这就导致了部分网页上的信息不能保存到数据库。

2、爬虫没有做词义识别，所以有些无用的信息也被爬取下来，保存 进了数据库。

 

通过这次的测试，除了发现了程序存在的不足之外，我还对我们的项目有了一个更加直观的了解。