Python爬虫零基础到进阶（大纲）

Posted 2023-03-02 Java-feng

Python爬虫零基础到进阶

主题：爬虫进阶是爬虫的逆向抓取技术，善于APP逆向抓取，社会化工程抓取和爬虫变现实践经验。

结尾

1. 【简历技巧】爬虫简历写作技巧，利用爬虫技术在面试中挣被动收入的实践经验和方法论。【如何写一份合格的爬虫简历，增加面试邀约机率是技巧】
2. 【经验方法分享】爬虫技术结构化数据整合做流量挣钱的实践经验和实践方法论。

课程目标：关于面向爬虫工作为主的录播课培训，以及职业指导和技术支持；掌握提纲所教爬虫逆向抓取技术，追求高薪资是完全没问题的。

零基础

Python基础 、爬虫基础、 JS基础

爬虫进阶课

tip：爬虫技术进阶主要体现在反爬对抗和规模化抓取上。目前网页的对抗难度上限是跟浏览器特征和访问行为绑定的高度混淆 JS 和验证码拖拽等；APP 的 SO 混淆，抓包和设备特征检测对抗等。

爬虫进阶内容涉及：

1. 反混淆颇有难度的 JS
2. APP HOOK 抓取
3. 机器学习验证码
4. 爬虫工程化经验
5. 规模化抓取窍门
6. 安卓逆向抓取、JS 逆向抓取，安卓群控抓取、容器定制化、抓取黑科技。

课程是系统性教学的录播视频，付款后录播课视频需要时间单独转码才给学员发送，共约150个学时。不断有关于技术过时的或有更好的解决方案的视频更新。

学习形式

1. 讲师微信一对一指导【未来工作中爬虫技术细节问题，职业问题，持续提供帮助和思路，提供远程模拟面试辅导。】
2. 加入内部群【爬虫技术问题指导和职业答疑，找工作内推、优先提供爬虫外包项目和互帮互助。】
3. 发送录播课视频学习 ，具体说学习情况。
4. 内部逆向练习平台，一百道内部逆向练习题 【JS和APP逆向练习平台】
5. 不定期内部直播答疑。

录播课

JS逆向抓取（20节）

1. JS工具使用（插件、抓包、devtools调试）
2. 混淆代码还原（花指令、控制流、转义…）
3. JS关键代码剥离抽取技巧
4. 加密函数自吐（补环境、沙箱、痕迹擦除、自吐环境…）
5. JSVMP（字节码、指令集、寄存器…）
6. 加密入口定位（hook内存漫游、二分定位…）

APP逆向抓取（88节）

1. 安卓开发基础普及
2. APP脱壳（加壳原理、指令抽取、魔改脱壳机）
3. APP复杂场景抓包（vpn、中间人、ssl、tcp各抓包场景）
4. Frida逆向开发（hook、frida反检测对抗、objection）
5. Ratel逆向开发
6. IDA调试
7. IDA trace、stalker还原ollvm
8. 加密参数算法定位与还原
9. sekiro远程调用

机器学习验证码（10节）

1. 深度学习基础与环境搭建

2. 模型训练与保存

3. 不定长英数汉字内容识别

4. 图片拼图接口位置识别

5. 图片上文字坐标位置识别

6. 数据标注

7. 图片识别API接口搭建

高性能爬虫框架设计（6节）

1.异步\\分布式爬虫设计

爬虫接单与聚合数据挣钱经验（9节）