爬取了京东商城上的部分手机评论数据,仅供学习使用

Posted 刘润森!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取了京东商城上的部分手机评论数据,仅供学习使用相关的知识,希望对你有一定的参考价值。

京东的手机评论数据爬虫,仅供学习使用

说明

爬取了京东商城上的部分手机评论数据。由于项目的数据量要求不大,仅仅采用了比较简单的方式来进行数据的爬取,过程分为两个部分:

  • 根据不同的手机品牌选择了第一页的三十个条目,提取其名称和京东商品的编号。
  • 根据商品编号,直接使用分析出的请求接口来请求对应的评论数据。

具体内容如下:

Step 1 不同品牌对应的链接的获取

首先,jd手机类的商品列表都在https://list.jd.com/list.html?cat=9987,653,655 链接下:

通过requests请求以及beautifulsoup的选择器可以拿到所有品牌对应的链接

# 拿到所有手机品牌的链接
_temp = soup.find_all(name=

以上是关于爬取了京东商城上的部分手机评论数据,仅供学习使用的主要内容,如果未能解决你的问题,请参考以下文章

一只初学者级别的京东商城商品爬虫(爬取索尼微单的参数信息)

python制作爬虫爬取京东商品评论教程

如何爬取京东手机上万的商品数据,这个神器可以帮你

Scrapy实战---Scrapy对接selenium爬取京东商城商品数据

别人用钱,而我用python爬虫爬取了一年的4K高清壁纸

爬取京东上商品的所有详细信息