scrapy爬取京东iPhone11评论

Posted 2020-11-30 catmann

咨询行业中经常接触到文本类信息，无论是分词做词云图，还是整理编码分析用，都非常具有价值。

本文将记录使用scrapy框架爬取京东IPhone11评论的过程，由于一边学习一边实践，更新稍慢请见谅。

1.scrapy开始创建项目：

scrapy startproject projectName

 

2. 进入创建的项目目录：

cd projectName

3.以默认的basic模板创建第一个爬虫：

scrapy genspider spiderName www.hostDomain.com

 

 好的，这样基本目录就建立起来了，目录结构如下：

 

 

接下来在与spider同名文件（iphone11.py)里就可以编辑正式爬虫代码了。