Typescript爬虫实战(2) ---- 使用表单的形式对接口进行保护

Posted 2023-04-12

参考技术A 在完成了爬取数据的借口之后，遇到了一些问题：

定义表单

但在提交了之后，缺抛出这样的错：

原因是虽然数据已经在request.body里了，但express并没有对其进行有效地解析。

借助 body-parser 这个中间件帮忙进行解析：
安装： npm install body-parser
表单提交使用： app.use(bodyParser.urlencoded( extended: false ))

配置了之后就可以了。
但引入了两个ts下的express问题：

为了解决上述的两个问题，需要对express的类型描述文件进行扩展

2.增加描述文件来拓展类型
可以借鉴 import * as core from "express-serve-static-core"; 这一个文件

ts的特性，可以使用类型融合对request，response进行拓展。

《爬虫逆向进阶实战》

《爬虫逆向进阶实战》书籍介绍

---

内容简介

《爬虫逆向进阶实战》以爬虫逆向方向的相关技术和岗位要求进行撰写，结合作者多年工作经验，总结了爬虫的架构体系、主流框架、技术体系和未来发展。
书中包括各种自动化工具、抓包工具、逆向工具的使用，包括Playwright、Airtest、Postony、Drony、Frida、Unidbg、Xposed 等等。
核心内容以Web Js逆向、安卓逆向、小程序逆向为主，结合三十个实战案例进行分析，内容从易到难一应俱全，并附有视频教程。

还对主流的反爬虫技术进行了讲解，包括传输协议、验证码体系、字符集映射、行为和指纹等。

本书是目前全网最为详细和最具有深度的爬虫逆向书籍之一。

书中内容对于大家所擅长的开发语言并没有要求，进阶为高阶爬虫工程师需要了解和掌握的技术内容十分广泛，不局限于编程语言，不拘泥于采集方法。
相对于其他书来说，我选择去掉那些食之无味的安装教程，秉着让大家多在互联网练习资源检索能力的目的，一些容易找到的软件也没有提供下载地址和安装步骤。内容整体从易到难，跳过了一些细枝末节的东西，更多地在讲述实际应用和解决方法。

---

章节目录

前两章是爬虫的发展史和爬虫系统的基本架构以及流行爬虫框架和管理框架。
虽然只有30页内容，但都是进阶时需要掌握的理论和技巧。

第三章是webJS逆向。从基础到进阶由易到难进行梳理。包括基础理论、定位方法、压缩混淆、加密算法、传输协议等，另有不同难度的逆向案例，案例附有视频教程，非常适合大家学习和实战。

四五章是自动化工具和抓包工具。内容不多，给大家提高一些工具上的选择性。

第六章到十章是安卓逆向、小程序逆向和抓包技巧，以及安卓逆向实战案例、验证码识别等。
详细介绍了逆向基础、Hook工具Xposed、Frida、Unidbg 等 以及查壳、脱壳工具的使用，所有介绍的内容都会在实战案例中应用到。

第十一章的反爬虫技术和附录的检索技巧补充作为电子版赠送。

---

案例视频

本书附带140分钟的实战案例视频。

---

专家推荐

---

致谢

感谢lx交流群的各位群友对作者的支持和鼓励，以及大家对本书内容和方向的建议。
谨以此书献给热爱爬虫逆向的朋友！目前已在各平台上架！