Python-关于豆瓣发布“说句话”,添加网页等的js行为分析

Posted AuBuCuo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python-关于豆瓣发布“说句话”,添加网页等的js行为分析相关的知识,希望对你有一定的参考价值。

想做个利用Python发布豆瓣“说句话”的工具,目前我已知的有两种方法:

  • 用Python驱动一些无界面浏览器phantomjs(因为我没用Chrome),直接模拟发状态的行为。
  • 按F12分析网页发布动态的js行为,直接在Python中post。

  对比两种方法,第一种需要安装phantomjs,但是普适性比较高,再接下来分析其他网页会更加方便快捷。第二种方法对症下药,针对性比较强,对于其他动态网页有需求的话,需要重新分析。

  因为安装phantomjs不成功,因为第二种方法可以学到新技能,所以我选择第二种。

本篇文章就是记录我第二种方法的准备工作。

先发个内容“123”的动态

按F12后出来分析界面,注意点击上图中的矩形框。

发布一个动态之后,这里刷新了几十行的动作。对于我一个菜鸟,真不知道从哪里下手。(就像学高数,高数老师:“显然xx”,我内心:“这哪里显然了??”)

双击第一个www,douban,发现:

发现“123”内容,因此接下直接向douban,com post带有(header data)的数据来尝试。


具体Python 代码查看:python-利用豆瓣爬虫发个动态

 

以上是关于Python-关于豆瓣发布“说句话”,添加网页等的js行为分析的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫入门爬取豆瓣电影top250

如何用python爬取豆瓣读书的数据

Python开发简单爬虫之静态网页抓取篇:爬取“豆瓣电影 Top 250”电影数据

python爬取豆瓣电影首页超链接

python爬取豆瓣电影Top250(附完整源代码)

python怎么抓取豆瓣电影url