京东商品详情页采集

Posted 八爪鱼大数据

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了京东商品详情页采集相关的知识,希望对你有一定的参考价值。

采集场景

打开京东商品详情页(实例网址:https://item.jd.com/100006607659.html#crumb-wrap ),采集点击不同的参数(颜色、版本等)后得到的数据(商品编号、价格、主图链接等字段会随着参数变化而变化)。

鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理

采集字段

商品标题、颜色、版本、价格、商品名称、商品编号、图片网址等。

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:

教程说明

本篇制作时间:2020/4/26 八爪鱼版本:V8.1.8

如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客服,我们将及时修正。

采集步骤

步骤一、打开网页

步骤二、循环点击颜色属性,并提取对应文本

步骤三、循环点击版本属性,并提取对应文本

步骤四、提取其他字段

步骤五、编辑字段

步骤六、启动采集

以下为具体步骤:

步骤一、打开网页

在首页输入框中,输入网址 https://item.jd.com/100006607659.html#crumb-wrap ,然后点击【开始采集】,八爪鱼自动打开网页。

特别说明:

a. 打开网页后,如果开始开始【自动识别】,请等待自动识别完成。八爪鱼支持自动识别网页上的列表、滚动和翻页,识别成功后直接启动采集即可获取数据。如果【自动识别】的结果不是我们需要的,可点击【取消】关闭智能识别,自行配置采集流程。详情点击查看 【自动识别】

步骤二、循环点击颜色属性,并提取对应文本

通过以下几步,实现点击每个颜色属性并提取对应文本

1、循环点击颜色属性

2、提取颜色属性的文本

3、将循环点击颜色属性与提取颜色文本联动起来

1、循环点击颜色属性

① 选中页面上第1个颜色属性

② 在黄色操作提示框中,选择【选中全部】

③ 选择【循环点击每个链接】

特别说明:

a. 经过以上连续3步,【循环-点击元素】创建完成。【循环】中的项,对应着页面上所有颜色属性。启动采集以后,八爪鱼就会按照循环中的顺序依次点击每个颜色属性。

b. 为何通过以上3步,可建立【循环-点击元素】?详情点击查看 采集点击多个链接后的详情页数据教程 。

2、提取颜色属性的文本

选中页面中的颜色属性框,在操作提示框中选择【采集该链接文本】,颜色属性的文本提取下来。

3、将循环点击颜色属性与提取颜色文本联动起来

进入【提取数据】设置页面,勾选【采集当前循环中设置的元素】后保存。

点击【颜色】字段后的 按钮,勾选【相对于循环里的XPath】后保存。

特别说明:

a. 什么是【相对于循环里的XPath】?点击查看 相对XPath教程

步骤三、循环点击版本属性,并提取对应版本文本

通过以下几步,实现点击每个版本属性并提取对应文本

1、循环点击版本属性

2、提取版本属性的文本

3、将循环点击版本属性与提取版本文本联动起来

1、循环点击版本属性

① 选中页面上第1个版本属性

② 在黄色操作提示框中,选择【选中全部】

③ 选择【循环点击每个链接】

特别说明:

a. 经过以上连续3步,【循环-点击元素】创建完成。【循环】中的项,对应着页面上所有版本属性。启动采集以后,八爪鱼就会按照循环中的顺序依次点击每个版本属性。

b. 为何通过以上3步,可建立【循环-点击元素】?详情点击查看 采集点击多个链接后的详情页数据教程 。

2、提取版本属性的文本

选中页面中的版本属性框,在操作提示框中选择【采集该链接文本】,版本属性的文本提取下来。

3、将循环点击版本属性与提取版本文本联动起来

进入【提取数据】设置页面,勾选【采集当前循环中设置的元素】后保存。

点击【版本】字段后的 按钮,勾选【相对于循环里的XPath】后保存。

特别说明:

a. 什么是【相对于循环里的XPath】?点击查看 相对XPath教程

b. 经过步骤二和步骤三,版本属性的【循环-点击元素】内嵌在颜色属性的【循环-点击元素】中,根据 采集原理与流程执行逻辑 中学到的知识,我们知道它会从上到下,由内而外执行流程,展示出每种颜色属性和版本属性的组合,以采集其对应数据,如下图所示。如果有更多其他属性,则继续向内建立嵌套循环。

步骤四、提取其他字段

选中页面中的文本,然后在操作提示框中,点击【采集该元素文本】。

文本类字段都可以按照这样的方式提取。示例中我们提取了商品标题、商品价格、主图链接、商品编号等多个字段。

特别说明:

a. 文本、图片、视频、源码是不同的数据形式,在操作提示框选择提取方式时稍有不同。文本一般为【采集该元素文本】,图片一般为【采集该图片地址】,更多提取方式请点击查看 不同数据类型(文本、图片、链接、源码等)的抓取方式 教程

步骤五、编辑字段

1、编辑字段

进入【提取数据1】设置页面,可删除多余字段,修改字段名,移动字段顺序等。

2、格式化字段

【商品名称】和【商品编号】这2个字段,默认提取的内容有与表头重复的部分。如果没关系,可跳过此步骤。

如果想要去掉内容中多余的部分,可使用数据格式化功能。

以【商品名称】格式化为例:点击字段后的 按钮,选择【格式化数据】→ 点击【添加步骤】,选择【替换】,将【商品名称:】替换为【空】,输出【华为P40 Pro】并保存。

特别说明:

a. 数据格式化是什么?点击查看 数据格式化教程 。

步骤六、启动采集

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

特别说明:

a. 【本地采集】是使用自己的电脑进行采集,【云采集】是使用八爪鱼提供的云服务器采集,点击查看 本地采集与云采集详解。

2、采集完成后,选择合适的导出方式来导出数据。支持导出为Excel,CSV,HTML,数据库等。这里导出为Excel。

以上是关于京东商品详情页采集的主要内容,如果未能解决你的问题,请参考以下文章

京东商品列表采集

京东商品列表采集

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情

京东商品评价采集

京东商品评价采集

爬取京东商品