第七篇 爬虫挖矿神器看这篇就够了

Posted haishiniu123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第七篇 爬虫挖矿神器看这篇就够了相关的知识,希望对你有一定的参考价值。

申明:1.本文所介绍的方法仅供学习使用,严禁用作他用,谢谢配合!

          2.本文提及的天天基金app各位数据爱好者请不要过高频率的获取数据,以免影响app的正常使用,在此谢谢大家,坚守技术人的底线,人人有责!

一、本文目的

1.笔者在网上没有找到完整的关于使用iPhone + https + Charles + win系统 的抓包教程,自己花费了大概4h完成了此case的实战

2.让有同样需求的开发、测试同学 在学习此项技能的时候少走弯路节约时间

3.为接下来的基金数据爬取打下环境的基础(毕竟搭建环境只是能算是第0步,但是很多同学就是因为没有搭建好环境而放弃治疗了)

 

二、抓包使用场景

1.在开发过程中,通常我们会遇到系列问题:

1.1在与后台联调的过程中不断的下断点或者输出 log ,以查看给后台的参数是否正确,后台返回给我们的结果是否有误。打断点耗时,大量输出 log 是代码不够整洁。

1.2 在我们没有修改代码的情况下出现问题,想找出是后台的锅还是我们的锅。

2.在爬虫的开发过程中,通常我们会遇到以下问题:

2.1在寻找发送get/post的某个参数的时候,你畅游在连接的海洋中,但是就是找不见这个参数是从哪里钻出来的。

2.2在分析解决加载页面和参数的时候,我们分不清楚参数的执行顺序的时候,可以用其定位问题。

三、抓包软件

    抓包软件有很多比如:?wireshark、Charles、Fiddler?等。我使用过的软件有Charles、Fiddler,一般建议在mac上用Charles、在win 系统上用Fiddler。当然老司机看个人喜好了

四、Charles神器安装及配置过程

1.Charles 软件下载

可以在官网进行下载:https://www.charlesproxy.com/

若想获取永久使用的可以后台回复数字:.

2.删除已经安装的charles证书

(win+r 键执行 certmgr.msc)并删除已安装证书

技术图片

3.windows 安装https证书(下面的那个证书选择受信任的根证书颁发机构很重要。没有勾选的,就抓不到报文啦)

技术图片

技术图片

 

4.配置软件https

技术图片

技术图片

 

技术图片

如上操作之后,可以正常获取网络请求;

5. 查看Charles端口:

技术图片

 

6.设置iphone手机代理

首先

配置iphone的http抓包

获取当前电脑的ip地址并配置到iphone。如下图配置。

获取电脑的ip地址

技术图片

 

配置iphone http代理,这个安装包默认的代理端口是8888

技术图片

 

7.配置iphone的https代理

安装证书

在iphone自代浏览器输入:http://chls.pro/ssl

技术图片

如上配置成功,可以成功抓取移动端请求了。

 

五、抓包测试

    通过以上配置,我们就可以愉快的抓包了,可以进行数据挖矿了,我们的目标依旧就天天基金的app端,为何如此青睐天天基金呢?抓包写爬虫不是目的,我们要的是必要的数据,为后续做量化分析做准备,you know?

技术图片

 

总结:

    本文通过笔者亲自实践的方式耗时4h完了以上工作,我们的挖矿(基金数据)神器就配置到位了,后续我们就可以在此基础上做扩展了,好了,本期的内容就先分享到这里,未完待续......

 

 

 

 


    当你发现自己的才华撑不起野心时,请安静的坐下来学习吧。    

                                                                 ------还是牛

                 

技术图片技术图片公众号ID:pythonCoder1024扫码关注最新动态

          如果你觉得公众号的内容不错,可以推荐于身边的朋友,你的每次肯定和受益都会成为我前进的动力,一起加油!    

以上是关于第七篇 爬虫挖矿神器看这篇就够了的主要内容,如果未能解决你的问题,请参考以下文章

了解入门爬虫技术原理,看这篇就够了

Python Web怎么学,看这篇就够了!

[转帖]Zookeeper入门看这篇就够了

Spark入门看这篇就够了(万字长文)

Python GUI之tkinter窗口视窗教程大集合(看这篇就够了)

超详细的springBoot学习教程,springboot学习看这篇就够了