Scrapy爬虫-win7下创建运行项目

Posted 木东

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy爬虫-win7下创建运行项目相关的知识,希望对你有一定的参考价值。

开始的时候,我只安装了python3.5,安装不了scrapy库,网上搜了一下说是scrapy不支持python3.x

然后,我就又安装了python2.7

为了,默认使用2.7,我在环境变量path中添加下面2项:

D:\\Program Files\\Python27;D:\\Program Files\\Python27\\Scripts;

 

接着,我在E:\\PycharmProjects目录下按住Shift键右击,选择“在此处打开命令窗口”,输入以下命令:

scrapy startproject tutorial

 

得到:

 

 

然后,在pycharm中open项目

scrapy.cfg:项目的配置文件
tutorial/:项目的Python模块,将会从这里引用代码
tutorial/items.py:项目的items文件
tutorial/pipelines.py:项目的pipelines文件
tutorial/settings.py:项目的设置文件
tutorial/spiders/:存储爬虫的目录

 

运行爬虫显示报错

ImportError: No module named win32api

需要导入

pip install pypiwin32

  

以上是关于Scrapy爬虫-win7下创建运行项目的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫之Scrapy框架系列——创建并运行你的第一个Scrapy demo项目

在Pycharm中运行Scrapy爬虫项目的基本操作

scrapy按顺序启动多个爬虫代码片段(python3)

4.python爬虫之新建 scrapy 爬虫项目(抓取和保存)

scrapy主动退出爬虫的代码片段(python3)

在pycharm中使用scrapy爬虫