Scrapy爬虫-win7下创建运行项目
Posted 木东
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy爬虫-win7下创建运行项目相关的知识,希望对你有一定的参考价值。
开始的时候,我只安装了python3.5,安装不了scrapy库,网上搜了一下说是scrapy不支持python3.x
然后,我就又安装了python2.7
为了,默认使用2.7,我在环境变量path中添加下面2项:
D:\\Program Files\\Python27;D:\\Program Files\\Python27\\Scripts;
接着,我在E:\\PycharmProjects目录下按住Shift键右击,选择“在此处打开命令窗口”,输入以下命令:
scrapy startproject tutorial
得到:
然后,在pycharm中open项目
scrapy.cfg:项目的配置文件
tutorial/:项目的Python模块,将会从这里引用代码
tutorial/items.py:项目的items文件
tutorial/pipelines.py:项目的pipelines文件
tutorial/settings.py:项目的设置文件
tutorial/spiders/:存储爬虫的目录
运行爬虫显示报错
ImportError: No module named win32api
需要导入
pip install pypiwin32
以上是关于Scrapy爬虫-win7下创建运行项目的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫之Scrapy框架系列——创建并运行你的第一个Scrapy demo项目