爬虫实践-爬取简书网用户动态信息

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫实践-爬取简书网用户动态信息相关的知识,希望对你有一定的参考价值。

技术分享图片

jianshuwanguser.py:

import requests
from lxml import etree
import pymongo

client = pymongo.MongoClient(‘localhost‘, 27017)
mydb = client[‘mydb‘]
timeline = mydb[‘timeline‘]


def get_time_info(url, page):
user_id = url.split(‘/‘)
user_id = user_id[4]
if url.find(‘page=‘):
page = page + 1
html = requests.get(url)
selector = etree.HTML(html.text)
infos = selector.xpath(‘//ul[@class="note-list"]/li‘)
for info in infos:
dd = info.xpath(‘div/div/div/span/@data-datetime‘)[0]
type = info.xpath(‘div/div/div/span/@data-type‘)[0]
timeline.insert_one({‘date‘: dd, ‘type‘: type})

id_infos = selector.xpath(‘//ul[@class="note-list"]/li/@id‘)
if len(infos) > 1:
feed_id = id_infos[-1]
max_id = feed_id.split(‘-‘)[1]
next_url = ‘http://www.jianshu.com/users/%s/timeline?max_id=%s&page=%s‘ % (user_id, max_id, page)
get_time_info(next_url, page)


if __name__ == ‘__main__‘:
get_time_info(‘http://www.jianshu.com/users/9104ebf5e177/timeline‘, 1)

技术分享图片
































以上是关于爬虫实践-爬取简书网用户动态信息的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy+selenium爬取简书全站

Scrapy+selenium爬取简书全站

Scrapy学习第五课

爬取简书

Python3 爬虫爬取中国图书网(淘书团) 记录

python 爬取简书评论