Python爬虫实战,Scrapy实战,爬取并简单分析安居客租房信息

Posted 楚_阳

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫实战,Scrapy实战,爬取并简单分析安居客租房信息相关的知识,希望对你有一定的参考价值。

在这里插入图片描述

前言

利用Scrapy框架爬取并简单分析安居客租房信息,让我们愉快地开始吧~

开发工具

Python版本:3.6.4

相关模块:

scrapy模块;

pyecharts模块;

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

原理简介

这依旧是scrapy爬虫框架的一个简单应用,然后加了点数据可视化分析。

首先还是先新建一个爬虫项目:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LR1V3BLF-1617415512941)(https://upload-images.jianshu.io/upload_images/2539976-2a2bc246fb424e04?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

我们需要爬的网站是:

图片

我选的上海,想爬的信息大概是这些:

图片

先定义一下要爬取的内容(items.py):

图片

然后随便设置一下(settings.py):

图片

最后写下我们的爬虫代码(spider.py):

图片

好的,我们很轻松地写完了我们的爬虫代码。完整爬虫项目详见个人简介获取相关文件。

数据分析

首先让我们来看看想租上海的房子,大概每个月需要多少钱:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Czc7wVo6-1617415512952)(https://upload-images.jianshu.io/upload_images/2539976-5cca19094461bd9b?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

图片

把房价除以面积可能更客观一点:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zc6iUfaZ-1617415512954)(https://upload-images.jianshu.io/upload_images/2539976-40971810439d591c?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

再来看看这些房子的朝向吧:

图片

向南的挺多~

还有住房类型:

图片

文章到这里就结束了,感谢你的观看,关注我每天分享Python模拟登录系列,下篇文章分享Python获取IP地址对应的地理位置信息。

为了感谢读者们,我想把我最近收藏的一些编程干货分享给大家,回馈每一个读者,希望能帮到你们。

干货主要有:

① 2000多本Python电子书(主流和经典的书籍应该都有了)

② Python标准库资料(最全中文版)

③ 项目源码(四五十个有趣且经典的练手项目及源码)

④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)

⑤ Python学习路线图(告别不入流的学习)

All done~完整源代码+干货详见个人简介或者私信获取相关文件。。

以上是关于Python爬虫实战,Scrapy实战,爬取并简单分析安居客租房信息的主要内容,如果未能解决你的问题,请参考以下文章

Python 爬虫实战: 爬取并下载CSDN文章

Python爬虫之Scrapy框架系列——项目实战某瓣Top250电影更多信息的获取

Python爬虫之Scrapy框架系列——项目实战某瓣Top250电影更多信息的获取

Python爬虫之Scrapy框架系列——项目实战某瓣Top250电影更多信息的获取

Python爬虫实战,Scrapy实战,爬取知乎表情包

Python爬虫实战,Scrapy实战,爬取旅行家游记信息