网络爬虫环境配置之的模块安装

Posted 2020-10-31 Cucucu

要利用网络爬虫进行数据的选取，我们首先应该进行环境的配置

所需工具：pycharm

          item2

1. 首先进行wget的安装下载：wget是一个从网络上自动下载文件的自由工具，要下载安装wget我们首先进行homebrew的安装
2. 安装brew：ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装成功后如图

A. 安装wget：brew install wget

B. 安装pip：sudo easy_install pip

3. 安装以scrapy为框架的网络爬虫所需模块（说明，由于我所用的电脑是OSX系统，本来OSX系统内置有python2.7.10，但由于外部添加了python3.6.5，因此在terminal中使用pip语句是应用

pip3 install+模块名, 因此安装scrapy的命令为

   pip3 install scrapy 即可将其安装成功,安装成功后的界面为

4. 安装requests模块，使用指令为

pip3 install requests，安装成功后界面为