queryList 一次抓取多个网页内容的方法--目前只有用循环 替换页码或者给出url循环进行 queryList没有像python一样的yied迭代方法 queryList 实现多个实例抓取

Posted stillstep

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了queryList 一次抓取多个网页内容的方法--目前只有用循环 替换页码或者给出url循环进行 queryList没有像python一样的yied迭代方法 queryList 实现多个实例抓取相关的知识,希望对你有一定的参考价值。

注意: 目前只有用循环 替换页码或者给出url循环进行   queryList没有像python一样的yied迭代方法  queryList 实现多个实例抓取不同网页的内容,两个实例数据互不干扰

新技能获取: 
Medoo(轻量级php数据库框架:https://medoo.lvtao.net/)

实现循环采集多个页面数据:

关键代码 

for ($i = 1; $i < 21; $i++) 
        echo "正在爬取第$i页\\n";
        $url = "http://blog.jobbole.com/category/career/page/$i/";

完整代码参考:  https://blog.csdn.net/dhywjx/article/details/80716114

 

多个实例的问题

  • 静态方法getInstance(),用于获取QueryList单一实例。此方法获取到的是全局共享的单一QueryList实例,
  • 意味着如果涉及到想要多QueryList共存的场景,就需要通过new QueryList()的方式来获取QueryList实例。QueryList内置的所有静态方法都是调用getInstance()方法获取的QueryList实例。

正确的使用方式
$url1 = "https://www.baidu.com/";
$url2 = "https://www.bing.com/";

  • $ql1 = (new QueryList)->get($url);
  • $ql2 = (new QueryList)->get($url2);

$title1 = $ql1-&gt;find(‘title‘)-&gt;text();
$title2 = $ql2-&gt;find(‘title‘)-&gt;text();
print_r($title1);
print_r($title2);

============================================
商业转载请联系获得授权,非商业转载请注明出处
作者:苏南大叔 【京城,非著名互联网从业人员】
来源:https://newsn.net/say/querylist-many.html
打赏:https://newsn.net/shang.html
加群:https://newsn.net/group.html
============================================
欢迎转发/打赏/点赞/留言,感谢您的支持!

发现这是一个有理想的大叔

技术图片

 

以上是关于queryList 一次抓取多个网页内容的方法--目前只有用循环 替换页码或者给出url循环进行 queryList没有像python一样的yied迭代方法 queryList 实现多个实例抓取的主要内容,如果未能解决你的问题,请参考以下文章

QueryList 配置curl参数 的文档位置 QueryList抓取https 终于找到了

Golang系列文章:并发抓取网页内容

python怎么抓取渲染后的页面

php 爬取网页列表 QueryList

感谢网页使用python或pyspark抓取多个页面

利用BeautifulSoup抓取新浪网页新闻的内容