php中抓取网页内容的代码

Posted 魔豆的BLOG<

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了php中抓取网页内容的代码相关的知识,希望对你有一定的参考价值。

方法一:

使用file_get_contents方法实现

        $url = "http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml";
        $html = file_get_contents($url);
        //如果出现中文乱码使用下面代码
        //$getcontent = iconv("gb2312", "utf-8",$html);
        echo "<textarea style=‘width:800px;height:600px;‘>".$html."</textarea>";

代码很简单,一看就懂,不解释了。

 

方法二:

使用curl实现

$url = "http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml";
        
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$html = curl_exec($ch);
curl_close($ch);

echo "<textarea style=‘width:800px;height:600px;‘>".$html."</textarea>";

 

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

加上这句代码,表示如果请求被重定向时,可以访问到最终的请求页面,不然请求的结果会显示如下内容:

<head><title>Object moved</title></head>
<body><h1>Object Moved</h1>This object may be found <a HREF="some link.">here</a>.</body>

以上是关于php中抓取网页内容的代码的主要内容,如果未能解决你的问题,请参考以下文章

phpCURL抓取网页内容

用爬虫抓取网页得到的源代码和浏览器中看到的不一样运用了啥技术?

php curl抓取网页内容在服务器上报302Found,怎么解决

如何抓取ajax返回的网页内容?

curl抓取网页内容php

PHP通过DOMDocument对象来抓取网页中的指定class的内容