Python爬虫编程思想：网络爬虫的基本原理

Posted 2021-08-09 蒙娜丽宁

      

目录

1. 爬虫的分类

2. 爬虫抓取数据的方式和手段

---

Python爬虫编程思想（5）：Session与Cookie

        我们为什么将从互联网上下载资源的程序称为爬虫呢？其实这是一个很形象的比喻。整个互联网相当于一张用各种数据资源织成的大网，而从这张网上下载资源的程序相当于蜘蛛，为了获取资源，蜘蛛需要不断在这张数据之网上爬行，所以形象地将这种程序称为爬虫。由于这张数据之网的每个节点都包含了相应的资源（网页、图像或其他类型的文件），而且这些节点都有着千丝万缕的联系，也就是从一个节点可以通过这些联系（蛛丝）到达另外一个节点ÿ