Python爬虫编程思想（126）：项目实战--实时抓取“得到”App在线课程
Posted 蒙娜丽宁
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python爬虫编程思想（126）：项目实战--实时抓取“得到”App在线课程相关的知识，希望对你有一定的参考价值。
本文会给出一个真实的爬虫项目，这个爬虫项目抓取了“得到”App的在线课程列表。现在运行“得到”App，进入课程列表，会看到如图1所示的页面。
这个爬虫要抓取的就是全部的课程列表，不过这个爬虫与前面章节实现的爬虫有些不同，是实时抓取的，那么什么是实时抓取的呢？在前面章节实现的爬虫，都是先用开发者工具进行分析，提取出要抓取页面的URL和其他信息，然后再使用Python语言根据这些信息编写爬虫应用。这种方式并不是实时的，因为在浏览器中显示页面时，并没有用爬虫抓取数据，而只是在浏览器的开发者工具中分析这些数据，然后根据分析结果模拟浏览器来抓取数据。
这种传统的编写爬虫的方式对于Web应用通常没什么问题，因为Web应用的前端没有任何秘密，都
以上是关于Python爬虫编程思想（126）：项目实战--实时抓取“得到”App在线课程的主要内容，如果未能解决你的问题，请参考以下文章
Python爬虫编程思想（91）：项目实战--支持搜索功能的图片爬虫
Python爬虫编程思想（91）：项目实战--支持搜索功能的图片爬虫
Python爬虫编程思想（143）：项目实战：多线程和多进程爬虫
Python爬虫编程思想（143）：项目实战：多线程和多进程爬虫