20201303 2020-2021-2 《Python程序设计》实验四报告

Posted 20201303张奕博

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了20201303 2020-2021-2 《Python程序设计》实验四报告相关的知识,希望对你有一定的参考价值。

20201303 2020-2021-2 《Python程序设计》实验四报告

课程:《Python程序设计》
班级:2013
姓名:张奕博
学号:20201303
实验教师:王志强
实验日期:2021年6月19日
必修/选修: 公选课

1.实验内容

Python综合应用:爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络安全等。

我这次选择了爬虫进行实验操作,爬取了B站每天热门榜上的视频地址,UP名字,id,还有视频播放量和视频名,保存到一个CSV文件中。

2.实验过程及结果

目标网站:https://www.bilibili.com/v/popular/rank/all

工具:python3.9,火狐浏览器

实验过程:

2.1导入requests库,然后使用requests对目标网站发起访问

2.2导入BeautifulSoup,使用其对网站所需提取的信息进行更好的筛选

2.3爬取所需数据

先用soup将所有数据取出,然后根据所需数据不同的地址名字,爬取不同的数据






2.4将数据导入新建的csv文件中,并完善格式

新建了一个类,将其分类放入其中,并新建了一个vidoes的数组,将数据放入其中,最后依次输出即可
同理设定了一个csv_title函数,可以直接引用输出开头

最后全部代码展示


输出结果展示


3.码云链接

https://gitee.com/zhang-yibo/jin222/blob/master/main.py

4.制作过程中出现的问题

4.1主要的问题就是找的数据的地址范围太大,无法判断.

查找了资料,知道了可以用beautifulsoup减少工作量,使整个爬虫更简洁,效率更高。

4.2出现如下报错


解决途径:询问同学发现是没有utf-8编码,就加上了encoding=\'utf-8\' 报错就没了。

课程感悟

整个python跟下来,感觉讲的是很详细,很有趣,无论是字典,数组,函数的介绍,还是最后的爬虫入门,让我对python有了兴趣,加上之前有一点基础,所以感觉课程难度适中,知识很多,需要练习来巩固。而老师课后发在蓝墨云的视频资料也起到了拓展作用,爬虫,GUI等让我非常感兴趣的,也让我感受到了python的功能强大与方便,希望以后还有更多时间来学习python。

以上是关于20201303 2020-2021-2 《Python程序设计》实验四报告的主要内容,如果未能解决你的问题,请参考以下文章

20182216郭格 2020-2021-2 《Python程序设计》实验四报告

2020-2021-2 网络对抗技术 20181321 Exp7 网络欺诈防范

2020-2021-2 网络对抗技术 20181202 Exp7 网络欺诈防范

20201310 2020-2021-2 《Python程序设计》实验三报告

20192415 2020-2021-2 《Python程序设计》实验4报告

ArcGIS Python工具箱.pyt裁剪工具