python 第二周（第八天） 我的python成长记 一个月搞定python数据挖掘！(15)

Posted 2020-09-30 yugengde

scrapy爬虫

企业级爬虫：python开发的一个快速，高层次的web抓取框架，用于抓取web站点并从页面提取结构化的数据。

scrapy用途广泛，可用于数据挖掘，数据监测和自动化测试  http://scrapy.org/

 

scrapy startproject proName

scrapy genspider  nameSpider "startURL"

scrapy crawl nameSpider