京东商品详情页采集

Posted 2021-10-16 八爪鱼大数据

采集场景

打开京东商品详情页（实例网址：https://item.jd.com/100006607659.html#crumb-wrap ），采集点击不同的参数（颜色、版本等）后得到的数据（商品编号、价格、主图链接等字段会随着参数变化而变化）。

鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图

下文其他图片同理

采集字段

商品标题、颜色、版本、价格、商品名称、商品编号、图片网址等。

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：

教程说明

本篇制作时间：2020/4/26 八爪鱼版本：V8.1.8

如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。

采集步骤

步骤一、打开网页

步骤二、循环点击颜色属性，并提取对应文本

步骤三、循环点击版本属性，并提取对应文本

步骤四、提取其他字段

步骤五、编辑字段

步骤六、启动采集

以下为具体步骤：

步骤一、打开网页

在首页输入框中，输入网址 https://item.jd.com/100006607659.html#crumb-wrap ，然后点击【开始采集】，八爪鱼自动打开网页。

特别说明：

a. 打开网页后，如果开始开始【自动识别】，请等待自动识别完成。八爪鱼支持自动识别网页上的列表、滚动和翻页，识别成功后直接启动采集即可获取数据。如果【自动识别】的结果不是我们需要的，可点击【取消】关闭智能识别，自行配置采集流程。详情点击查看 【自动识别】

步骤二、循环点击颜色属性，并提取对应文本

通过以下几步，实现点击每个颜色属性并提取对应文本

1、循环点击颜色属性

2、提取颜色属性的文本

3、将循环点击颜色属性与提取颜色文本联动起来

1、循环点击颜色属性

① 选中页面上第1个颜色属性

② 在黄色操作提示框中，选择【选中全部】

③ 选择【循环点击每个链接】

特别说明：

a. 经过以上连续3步，【循环-点击元素】创建完成。【循环】中的项，对应着页面上所有颜色属性。启动采集以后，八爪鱼就会按照循环中的顺序依次点击每个颜色属性。

b. 为何通过以上3步，可建立【循环-点击元素】？详情点击查看 采集点击多个链接后的详情页数据教程 。

2、提取颜色属性的文本

选中页面中的颜色属性框，在操作提示框中选择【采集该链接文本】，颜色属性的文本提取下来。

3、将循环点击颜色属性与提取颜色文本联动起来

进入【提取数据】设置页面，勾选【采集当前循环中设置的元素】后保存。

点击【颜色】字段后的 按钮，勾选【相对于循环里的XPath】后保存。

特别说明：

a. 什么是【相对于循环里的XPath】？点击查看 相对XPath教程

步骤三、循环点击版本属性，并提取对应版本文本

通过以下几步，实现点击每个版本属性并提取对应文本

1、循环点击版本属性

2、提取版本属性的文本

3、将循环点击版本属性与提取版本文本联动起来

1、循环点击版本属性

① 选中页面上第1个版本属性

② 在黄色操作提示框中，选择【选中全部】

③ 选择【循环点击每个链接】

特别说明：

a. 经过以上连续3步，【循环-点击元素】创建完成。【循环】中的项，对应着页面上所有版本属性。启动采集以后，八爪鱼就会按照循环中的顺序依次点击每个版本属性。

b. 为何通过以上3步，可建立【循环-点击元素】？详情点击查看 采集点击多个链接后的详情页数据教程 。

2、提取版本属性的文本

选中页面中的版本属性框，在操作提示框中选择【采集该链接文本】，版本属性的文本提取下来。

3、将循环点击版本属性与提取版本文本联动起来

进入【提取数据】设置页面，勾选【采集当前循环中设置的元素】后保存。

点击【版本】字段后的 按钮，勾选【相对于循环里的XPath】后保存。

特别说明：

a. 什么是【相对于循环里的XPath】？点击查看 相对XPath教程

b. 经过步骤二和步骤三，版本属性的【循环-点击元素】内嵌在颜色属性的【循环-点击元素】中，根据 采集原理与流程执行逻辑 中学到的知识，我们知道它会从上到下，由内而外执行流程，展示出每种颜色属性和版本属性的组合，以采集其对应数据，如下图所示。如果有更多其他属性，则继续向内建立嵌套循环。

步骤四、提取其他字段

选中页面中的文本，然后在操作提示框中，点击【采集该元素文本】。

文本类字段都可以按照这样的方式提取。示例中我们提取了商品标题、商品价格、主图链接、商品编号等多个字段。

特别说明：

a. 文本、图片、视频、源码是不同的数据形式，在操作提示框选择提取方式时稍有不同。文本一般为【采集该元素文本】，图片一般为【采集该图片地址】，更多提取方式请点击查看 不同数据类型（文本、图片、链接、源码等）的抓取方式 教程

步骤五、编辑字段

1、编辑字段

进入【提取数据1】设置页面，可删除多余字段，修改字段名，移动字段顺序等。

2、格式化字段

【商品名称】和【商品编号】这2个字段，默认提取的内容有与表头重复的部分。如果没关系，可跳过此步骤。

如果想要去掉内容中多余的部分，可使用数据格式化功能。

以【商品名称】格式化为例：点击字段后的 按钮，选择【格式化数据】→ 点击【添加步骤】，选择【替换】，将【商品名称：】替换为【空】，输出【华为P40 Pro】并保存。

特别说明：

a. 数据格式化是什么？点击查看 数据格式化教程 。

步骤六、启动采集

1、单击【采集】并【启动本地采集】。启动后八爪鱼开始自动采集数据。

特别说明：

a. 【本地采集】是使用自己的电脑进行采集，【云采集】是使用八爪鱼提供的云服务器采集，点击查看 本地采集与云采集详解。

2、采集完成后，选择合适的导出方式来导出数据。支持导出为Excel，CSV，HTML，数据库等。这里导出为Excel。