Tableau可视化分析实战系列（三十二）-瓜子二手车市场数据分析（Scrapy+Tableau）

Posted 2021-06-28 文宇肃然

前言

 

本文对瓜子网杭州二手车进行了爬取和简单分析，一方面是为了进一步熟练使用Python的Scrapy爬虫框架，另一方面是为了熟悉Tableau强大的数据可视化功能。

• 数据爬取：Python3.7，Scrapy（requests抓取+xpath解析），mysql（数据存储）

• 数据可视化：Tableau2019.4

 

 

01 数据爬取

 

瓜子二手车是一个用爬虫比较容易的网站，除了设置简单的headers（实测至少需要UA和cookie）之外，并不需要其他复杂的反爬手段。目标是爬取杭州市的所有在售二手车信息，那么在限定了地点之后，需要的就是指定车的品牌，而后就可以构造各信息爬取页的url了。

为了应用Scrapy框架，只需指定一个初始页即可实现全站爬虫，但这里个人偷了个懒，所幸直接先写了一小段爬虫将所有品牌的初始页面都写入start_urls列表，以便后续调用。

 

 记录下应用Scrapy爬取流程：

1. 建立工程文件

    

2. 生成爬虫工程及文件

   i. scrapy startproject guazi

   ii. scrapy genspider Myguazi guazi.com

3. 修改items.py文件信息，增加爬取字段名

4. 实现MyGuazi.py文件的爬虫核心代码（部分代码见后文）