爬取github上流行的python项目

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取github上流行的python项目相关的知识,希望对你有一定的参考价值。

 

# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"

import requests
from pyquery import PyQuery

def GetGitHub():
    url = "https://github.com/trending/python"
    r = requests.get(url)
    for i in PyQuery(r.content)(".repo-list>li"):
        repo_url = "https://github.com"+PyQuery(i).find(".mb-1 a").attr("href")
        name = PyQuery(i).find(".mb-1 a").text()
        star = PyQuery(i).find("a.mr-3").text()
        print("项目:"+name,"星星数:"+star,"项目地址:"+repo_url)
GetGitHub()

 运行结果

技术分享图片

 

以上是关于爬取github上流行的python项目的主要内容,如果未能解决你的问题,请参考以下文章

23个Python爬虫开源项目代码:爬取微信淘宝豆瓣知乎微博等

scrapy按顺序启动多个爬虫代码片段(python3)

scrapy主动退出爬虫的代码片段(python3)

python小白学习记录 多线程爬取ts片段

豆瓣爬取图书标签

python爬取github数据