scrapy学习--安装

Posted 2021-02-12 jack-jt-z

如果我们使用python爬取数据，那么scrapy必定是首选。

本文章记录学习过程中的两个问题

1,什么是scrapy

百科介绍：

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。

使用：

Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

特点：

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。

2,如何安装

ubuntu基于python3的安装

相关依赖包
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

   sudo apt-get install python3 python3-dev

   sudo rm -rf /usr/local/lib/python3.5/dist-packages/OpenSSL/
   sudo apt install --reinstall python-openssl

sudo python3 -m pip install Scrapy

安装完成运行scrapy查看