scrapy 参考教程及安装

Posted coder211

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy 参考教程及安装相关的知识,希望对你有一定的参考价值。

scrapy 参考教程及安装
环境: win7/10 64bit, python 3.6.x
教程: http://python.jobbole.com/86405/
安装过程
0. 预先安装 VC14 64bit (32bit最好也安装上)
1. 先安装 twisted
不预先安装这个会提示缺少vc++,现有版本不提供cp36的whell
现有版本: https://pypi.python.org/pypi/Twisted/17.9.0
历史版本: http://fstab.net/pypi/simple/twisted/
错误解决方案参考:
http://blog.csdn.net/feifantiantang/article/details/78749265
https://www.jianshu.com/p/a294a4b2bcde
http://blog.csdn.net/sinat_35637319/article/details/78940415
https://zhidao.baidu.com/question/813473497283817492.html
2. 再安装 pypiwin32
否则会在运行时报错: No module named \'win32api\'
pip install pypiwin32
错误解决方案参考:
http://blog.csdn.net/olanlanxiari/article/details/48196255
http://blog.csdn.net/u013687632/article/details/57075514
https://www.cnblogs.com/yrqiang/p/5295252.html
https://sourceforge.net/projects/pywin32/
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
http://blog.csdn.net/zhao_zi_ming_lc/article/details/78108437

 

 

爬虫参考用图片
http://www.ivsky.com/tupian/ziranfengguang/
http://www.ivsky.com/tupian/hailang_v45164/
http://www.ivsky.com/tupian/hailang_v45164/pic_719717.html

以上是关于scrapy 参考教程及安装的主要内容,如果未能解决你的问题,请参考以下文章

Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程

Scrapy入门教程

Python爬虫入门教程 30-100 高考派大学数据抓取 scrapy

eclipse开发scrapy爬虫工程,附爬虫临门级教程

scrapy框架之crawl问题解决

Scrapy 爬虫实例教程---简介及资源列表