向爬网程序提供数据库内容的最佳方法是什么

Posted 2021-04-10

我的网站内容由用户提供的问题和评论定义，并且是动态的，并且在性质上不断增长。该数据库预计将托管数百万条记录。但是，这些内容将根据用户对不同类别和类型的选择（使用下拉选项）呈现给访问者。实质上，搜索引擎爬虫不会看到这些内容。将这些内容提供给爬网程序的最佳方法是什么。我应该定期运行批处理操作，创建静态网页并通过站点地图将它们提供给爬虫吗？请建议。谢谢。

答案

通过站点地图提供。您可以将查询参数与提供给用户的所有相关组合一起使用。每个URL +查询参数都应显示数据库的一些独特内容。