php模拟浏览器获取get后返回的所有网址

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了php模拟浏览器获取get后返回的所有网址相关的知识,希望对你有一定的参考价值。

参考技术A 模拟GET请求:file_get_contents($url)通过php内置的file_get_contents函数可以模拟浏览器访问网址的行为。
取的结果就是那个网址所返回的所有网址。
网页浏览器(WebBrowser),常被简称为浏览器,是一种用于检索并展示万维网信息资源的应用程序。这些信息资源可为网页、图片、影音或其他内容,它们由统一资源标志符标志,信息资源中的超链接可使用户方便地浏览相关信息。

使用Fidder从安卓模拟器获取APP打开网址

  大家都知道H5游戏其实是网页,但是有些APP或者微端不显示网址链接。这里给大家介绍介绍一种,利用Fiddler进行抓包,获取APP打开的网址的方法。有人说何必多此一举呢,直接用模拟器玩游戏就好了。的确,直接用没毛病。但是如果获取到网址了,我们无论是Mac,Ipad还是手机,只要浏览器就能打开玩,而且节省资源。

  废话不多说,这里演示的是Fiddler+网易MuMu模拟器,当然真实安卓手机也是一样的。Fiddler只是提供一个代理,需要将手机的代理指向 PC 机,不能互相访问是不行的。只是简单地教你使用抓包,算是入门吧,更深的技术请自行在研究吧。

工具准备

Fiddler官网下载:https://www.telerik.com/download/fiddler

技术分享图片

MuMu模拟器官网下载:http://mumu.163.com

Fiddler设置

 打开选项

技术分享图片

勾上“Allowremote computers to connect”,其他保持默认

技术分享图片

这样代理就设置好了,下面我们用QQ测试一下是否可以用。使用Win+R呼出“运行”->输入"cmd"打开“命令提示符”,在命令提示符里输入“ipconfig”查看你的IP地址。我这里是“10.10.10.100”

技术分享图片

打开QQ,点击“设置按钮”,网络设置->类型->HTTP代理->地址:输入刚才的IP“10.10.10.100”->端口:输入Fiddler默认的8888。

技术分享图片

点击测试,已经成功了。

技术分享图片

MuMu模拟器设置

打开系统应用,点击“设置”

技术分享图片

左键点击进入“WLAN”

技术分享图片

左键长按进入高级设置

技术分享图片

输入代理信息并保存

技术分享图片

抓包使用

准备工作做完了,这时候我们看到Fiddler里已经有一些数据了。

技术分享图片

这时候打开游戏,这里以网易星球里的闪电玩的“决战沙城为例”,模拟器上安装网易星球并登录打开,进入游戏列表界面。

技术分享图片

这时候回到Fiddler界面,清理一些之前的数据,以便我们查看。“Remove all”清空所有数据。

技术分享图片

回到网易星球,点击“开玩”

技术分享图片

回到Fiddler,点击“Find”,查询闪电玩的网址“shandw.com”,高亮显示方便查看数据。

技术分享图片

找到Auth认证的网址“/pc/auth/3thAuth/”什么的那串,点击“Raw”,那个Get后面的网址就是游戏网址了。复制出来用浏览器打开看看吧。

技术分享图片

 

以上是关于php模拟浏览器获取get后返回的所有网址的主要内容,如果未能解决你的问题,请参考以下文章

Java爬虫利用GET和POST发送请求,获取服务器返回信息

PHP------------------------file_get_content获取不到页面信息

PHP 如何带上cookies模拟GET表单提交

CURL PHP模拟浏览器get和post

第三百三十三节,web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies

Java 模拟新浪登录 2016