20201303 2020-2021-2 《Python程序设计》实验四报告

Posted 2021-06-19 20201303张奕博

20201303 2020-2021-2 《Python程序设计》实验四报告

课程：《Python程序设计》
班级：2013
姓名：张奕博
学号：20201303
实验教师：王志强
实验日期：2021年6月19日
必修/选修： 公选课

1.实验内容

Python综合应用：爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络安全等。

我这次选择了爬虫进行实验操作，爬取了B站每天热门榜上的视频地址，UP名字，id，还有视频播放量和视频名，保存到一个CSV文件中。

2.实验过程及结果

目标网站：https://www.bilibili.com/v/popular/rank/all

工具：python3.9，火狐浏览器

实验过程：

2.1导入requests库，然后使用requests对目标网站发起访问

2.2导入BeautifulSoup，使用其对网站所需提取的信息进行更好的筛选

2.3爬取所需数据

先用soup将所有数据取出，然后根据所需数据不同的地址名字，爬取不同的数据

2.4将数据导入新建的csv文件中，并完善格式

新建了一个类，将其分类放入其中，并新建了一个vidoes的数组，将数据放入其中，最后依次输出即可
同理设定了一个csv_title函数，可以直接引用输出开头

最后全部代码展示

输出结果展示

3.码云链接

https://gitee.com/zhang-yibo/jin222/blob/master/main.py

4.制作过程中出现的问题

4.1主要的问题就是找的数据的地址范围太大，无法判断.

查找了资料，知道了可以用beautifulsoup减少工作量，使整个爬虫更简洁，效率更高。

4.2出现如下报错

解决途径：询问同学发现是没有utf-8编码，就加上了encoding=\'utf-8\' 报错就没了。

课程感悟

整个python跟下来，感觉讲的是很详细，很有趣，无论是字典，数组，函数的介绍，还是最后的爬虫入门，让我对python有了兴趣，加上之前有一点基础，所以感觉课程难度适中，知识很多，需要练习来巩固。而老师课后发在蓝墨云的视频资料也起到了拓展作用，爬虫，GUI等让我非常感兴趣的，也让我感受到了python的功能强大与方便，希望以后还有更多时间来学习python。