Python爬虫编程思想（162）： 综合爬虫项目：可视化爬虫

Posted 2023-02-27 蒙娜丽宁

        到现在为止，我们已经学习了相当多的爬虫知识，包括各种网络库、分析库、多线程爬虫、基于Selenium和Appium的爬虫，以及Scrapy爬虫框架。在前面的章节中也提供了大量的爬虫项目，不过这些爬虫应用都有一个共同点，都是控制台程序，需要直接在命令行中运行。但对于大型的爬虫项目，如果没有GUI接口，控制起来是很费劲的。而且，抓取数据并不是目的，最终的目的是如何利用这些抓取到的数据，从这些数据中提取出有价值的东西，也就是数据处理。爬虫也是很多高端应用的数据源，如搜索引擎、深度学习、图像识别等。所以本章提供了一个综合的爬虫项目，让读者学习到如何将起那么学习到的爬虫知识和其他领域的知识结合起来，完成一个带有GUI的爬虫应用。本项目设计到的技术包括网络技术、数据分析技术、数据可视化技术、PyQt5、多线程、数据库、Web技术、自然语言分析等。
1. 项目简介

        这个爬虫项目的主要功能是根据关键字搜索当当图书商品，然后获取商品页数以及每页的商品数，单击“抓取商品列表”按钮，会根据关键字搜索图书商品，并抓取搜索出的商品信息，最后将这些抓取到的商品显示在用PyQt5实现的窗口中，如图1所示。