如何利用八爪鱼抓取剑鱼招投标数据

Posted 2023-05-17

抓取监控招标信息就应该用网站资讯监控工具(SiteMonitor)，把招标网站网址添加到软件中，可以添加多个，这样只要这些招标网站有新的招标信息，马上就能采集到并发出提醒，还可以按关键词过滤。 参考技术A 首先搜索八爪鱼，进入八爪鱼官网，点击下载八爪鱼安装包；
安装之后注册账号登录，登录之后进入软件主页，点击任务->新建->自定义采集，输入要采集网页的网址保存即可；

保存之后软件会自动打开该页面，你可以鼠标依次点击页面中要抓取的内容，也可以在右侧操作提示区域点击取消要抓取的内容；确定无误后点击采集即可；

保存采集之后选择启用本地采集，之后静静等待就可以看到采集到的数据了；采集出的数据你也可以选择导出；此外，八爪鱼也可以同时采集多个页面，只需要在开始输入网址的时候输入多个网址即可； 参考技术B 哈哈哈，这个有点难

八爪鱼采集教程——京东商品评论采集

京东商品评论信息采集

 

介绍采集使用八爪鱼7.0采集京东商品评论数据的方法

更多相关教程可以到八爪鱼教程中心查看：

http://www.bazhuayu.com/tutorials?version=v7.0

八爪鱼下载：

http://www.bazhuayu.com/download

 

采集网站：

http://item.jd.com/11221162.html#comment

使用功能点：

l Ajax翻页

l 分页内容提取

 

步骤1：创建采集任务

进入主界面选择，选择自定义模式

 

 

将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”

保存网址后，页面将在八爪鱼采集器中打开，红色方框中的评价信息是这次演示要采集的内容

 

 

步骤2：创建翻页循环

l 找到商品评论列表

l 找到翻页按钮，设置翻页循环

l 设置ajax翻页时间

在商品页中，找到“商品评论”，鼠标点击，在右侧操作提示框中，

选择“点击该链接”

 

将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，

选择“循环点击下一页”

 

由于页面使用了ajax加载技术，需要对点击元素及翻页步骤设置ajax延时加载

（ajax判断方法：打开流程图，找到翻页循环框，手动执行翻页，看网站有没有进行加载）在右侧的高级选项框中，勾选Ajax加载数据，选择合适的超时时间，一般设置2秒；最后点击确定

 

注意：点击右上角的“流程”按钮，即可展现出可视化流程图。

 

步骤3：评论信息采集

l 选中需要采集的字段信息，创建采集列表

l 编辑采集字段名称

移动鼠标选中评论框，右键点击，如图所示，评论框中数据会被全部选中，变成红色，点击右侧提示中“选中子元素”

评论页中适配的内容会变成绿色，在右侧操作提示框中，查看提取的字段，可以将不需要的字段删除，点击右侧“选中全部”

 

注意： 鼠标放在提示框中的字段上会出现一个删除标识，点击即可删除该字段。

 

点击“采集以下数据”

 

修改采集字段名，并点击下方提示中的“保存并开始采集”

 

根据采集的情况选择合适的采集方式，这里选择“启动本地采集”

 

说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

 

步骤4：数据采集及导出

采集完成后，会跳出提示，选择导出数据

 

 

选择合适的导出方式，将采集好的数据导出

 

 

 

本文出自 “八爪鱼大数据” 博客，请务必保留此出处http://bazhuayudata.blog.51cto.com/13213727/1964332