微博python爬虫weiboSpider注意事项

Posted 2021-03-11 tiananboke

首先我看的weiboSpider爬虫项目教程出自https://github.com/dataabc/weiboSpider

1.这爬取的是手机端的，所以我把网址https://weibo.com的.com改成了cn,需要爬取的id和cookie也是在这登录后按教程找的。

主页网址上的连续数字不一定是id，资料的网址上是。还可以通过网业源代码搜，oid或uid后面的数字就是。

2.安装环境依赖，就是下载包，我下载的时候没成功，经朋友指点，直接下载未成功导入的包，实践可行。

3。代码包括有关数据库，如果不需要，可以不删除，运行不到那去，不影响。不过删掉应该比较好。

4.

 

 会输出这的所有格式文件。如图就会有csv和txt两个文件。

 

到这我就没了。。欢迎讨论补充。