php实现爬虫
Posted 兰陵笑笑苼
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了php实现爬虫相关的知识,希望对你有一定的参考价值。
爬虫技术
简介
目前主流实现爬虫的方法都是使用pathon,但是不一定只有pathon,php也有很多爬虫工具,比如自带的curl,还有querylist,都能实现爬虫,只要能够实现爬数据,不要用什么样的方法都行。
querylist使用
QUERYLIST官方文档,先可以看下文档,熟悉一下,任务框架都可以使用
快速使用
过程很简单,看下文档基本上能够使用,
安装
使用compser安装composer require jaeger/querylist
爬取接口
use QL\\QueryList;
public function data()
$arr = [
'page' => 10,
'limit' => 1
]; //请求参数
$hearders = [
'headers' => [
'token' => 'eyJhbGciOiJIUzI1NiJ9.eyJqdGkiOiIxNDEwNDI2MTU0MDM5NDMxMTY5IiwiaWF0IjoxNjI2ODUwMjcwLCJzdWIiOiJkNDkzOTJmNWYyOWI4YjMxNzI0OGEwMmY3MzY3Yjk4NDlhZmRjZGY1IiwiZXhwIjoxNjI5NDQyMjcwfQ.ie5Kw9n3NSz3qPsBNxj30ztBvUUDD0zkOAt-ls8dS2E'
]
]; //设置请求头,根据不同网站设置
$mes = QueryList::get('https://app.shapil.cn/app',$arr,$hearders);
$res = json_decode($mes->gethtml(),true); //如果是抓接口,记得encode,
//接下来就看你自己的处理,可以保存到数据库什么的
// to do something
爬取网页
<?php
use QL\\QueryList;
//采集某页面所有的图片
$data = QueryList::get('http://cms.querylist.cc/bizhi/453.html')->find('img')->attrs('src');
//打印结果
print_r($data->all());
//采集某页面所有的超链接和超链接文本内容
//可以先手动获取要采集的页面源码
$html = file_get_contents('http://cms.querylist.cc/google/list_1.html');
//然后可以把页面源码或者HTML片段传给QueryList
$data = QueryList::html($html)->rules([ //设置采集规则
// 采集所有a标签的href属性
'link' => ['a','href'],
// 采集所有a标签的文本内容
'text' => ['a','text'] ])->range('li')->query()->getData();
//打印结果
print_r($data->all());
自动化运行
会爬取数据了,也得知道怎么自动化运行,我刚开始是把它写个接口,后来发现这样不行,接口容易超时,只有通过控制台命令,让他一直执行下去
TP6命令行
以上是关于php实现爬虫的主要内容,如果未能解决你的问题,请参考以下文章