scrapy框架爬虫爬取糗事百科 之 Python爬虫从入门到放弃第不知道多少天

Posted Mandxy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy框架爬虫爬取糗事百科 之 Python爬虫从入门到放弃第不知道多少天相关的知识,希望对你有一定的参考价值。

Scrapy框架安装及使用

1. windows 10 下安装 Scrapy 框架:

  前提:安装了python-pip 

  1. windows下按住win+R 输入cmd

  2. 在cmd 下 输入

      pip install scrapy

      pip install pypiwin32  这个必须安装,是win下运行scrapy的依赖

      

      解决连接:https://segmentfault.com/a/1190000014782698

 

2. 使用scrapy 创建一个项目

  1. cmd命令下 cd到你想创建项目的目录, 比如:

    

  2. 输入 scrapy startproject 【项目名】(比如我的项目名叫spider_test):

    

    这样项目就创建完成了

  

 

以上是关于scrapy框架爬虫爬取糗事百科 之 Python爬虫从入门到放弃第不知道多少天的主要内容,如果未能解决你的问题,请参考以下文章

Python网络爬虫之Scrapy框架(CrawlSpider)

Python网络爬虫:空姐网糗百xxx结果图与源码

scrapy 爬取糗事百科

python3 爬虫之爬取糗事百科

芝麻HTTP:Python爬虫实战之爬取糗事百科段子

爬虫--使用scrapy爬取糗事百科并在txt文件中持久化存储