计算机毕业设计django基于python爬虫系统

Posted 2022-11-25 qq_1262330535

项目介绍

随着计算机多媒体技术的发展和网络的普及。采用当前流行的B/S模式以及3层架构的设计思想通过Python技术来开发此系统的目的是建立一个配合网络环境的爬虫系统的平台，这样可以有效地解决数据获取系统混乱的局面。
本文首先介绍了爬虫系统的发展背景与发展现状，然后遵循软件常规开发流程，首先针对系统选取适用的语言和开发平台，根据需求分析制定模块并设计数据库结构，再根据系统总体功能模块的设计绘制系统的功能模块图，流程图以及E-R图。然后，设计框架并根据设计的框架编写代码以实现系统的各个功能模块。最后，对初步完成的系统进行测试，主要是功能测试、单元测试和性能测试。测试结果表明，该系统能够实现所需的功能，运行状况尚可并无明显缺点。

运行环境

开发语言：Python
框架：django/FALSK
Python版本：python3.7.7
数据库：mysql 5.7（一定要5.7版本）
数据库工具：Navicat11
开发软件：PyCharm
浏览器：谷歌浏览器

功能介绍

（1）用户的管理（登录、注册）
（2）根据目标网站的数据爬虫（目标网站：青岛科技大学教务系统，爬取空闲教室）；
（3）管理员管理（可以实现自动拉黑非法爬取的用户，并可以进行解封）；
（4）设置爬虫网站的网址信息（目标网站：青岛科技大学教务系统）；
（5）爬虫出的数据进行页面效果展示；

（6）爬取的数据进行图表统计分析（在web界面用饼状图或条形图统计一周内空闲教室最多的排名）；

效果图

目 录
摘 要 I
ABSTRACT II
目 录 II
第1章 绪论 1
1.1背景及意义 1
1.2 国内外研究概况 1
1.3 研究的内容 1
第2章 相关技术 3
2.1 Python简介 4
2.2 Django 框架介绍 6
2.3 B/S结构 4
2.4 MySQL数据库 4
第3章 系统分析 5
3.1 需求分析 5
3.2 系统可行性分析 5
3.2.1技术可行性：技术背景 5
3.2.2经济可行性 6
3.2.3操作可行性： 6
3.3 项目设计目标与原则 6
3.4系统流程分析 7
3.4.1操作流程 7
3.4.2添加信息流程 8
3.4.3删除信息流程 9
第4章 系统设计 11
4.1 系统体系结构 11
4.2开发流程设计系统 12
4.3 数据库设计原则 13
4.4 数据表 15
第5章 系统详细设计 19
5.1管理员功能模块 20
5.2用户功能模块 23
5.3前台功能模块 19
第6章 系统测试 25
6.1系统测试的目的 25
6.2系统测试方法 25
6.3功能测试 26
结 论 28
致 谢 29
参考文献 30