python爬虫—使用scrapy爬虫框架

Posted 2020-09-26

问题1.使用scrapy框架，使用命令提示符pip命令下载scrapy后，却无法使用scrapy命令，出现scrapy不是内部或外部命令。也不是可运行的程序

 解决：一开始，我是把python安装在D：\python，安装了scrapy后他默认都会装在此路径下，然后scrapy在路径D:\python\Scripts路径下，而创建工程也只能在此目录下。

如果想让他在dos下想要命令运行成功的话，就的需要知道他在那里，那么这又得学习到环境变量path的作用。所以这就得在path上添加scrapy的地址

具体操作：开始>控制面板>系统>高级系统设置>环境变量>系统变量>path>在v那一栏添加包含scrapy路径的所有主从地址（注意在原地址最后加；所有；均为英文；）我的就是添加D:\python\;D:\python\Scripts;D:\python\Lib\site--packages\OpenSSL

完美解决

 

 

问题2：上述问题解决后，运行scrapy爬虫程序，结果出现import: no module named win32api

解决：Python是没有自带访问windows系统API的库的，需要下载。库的名称叫pywin32，可以从网上直接下载。

以下链接地址可以下载：http://sourceforge.net/projects/pywin32/files%2Fpywin32/   （下载适合你的python版本）

运行以下代码如果出现ImportError: No module named win32api 或者出现 ImportError: No module named win32con，说明你的库没有安装好。

介绍这个库里面最重要的两个模块：win32api和win32con，另外一种较简单的是使用pip命令，下载win32。

**具体操作：运行命令安装模块: pip install pypiwin32

然后运行程序，完美解决。。。

以上是今天学习python爬虫scrapy时遇到的2个大问题，在网上搜索了很多解决办法，在实际操作过程中，以上两个解决办法成功解决，程序也成功运行