Python爬虫实战，argparse模块，Github用户粉丝数据爬虫

Posted 2021-06-27 楚_阳

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python爬虫实战，argparse模块，Github用户粉丝数据爬虫相关的知识，希望对你有一定的参考价值。

前言

主要目标是爬取Github上指定用户的粉丝数据以及对爬取到的数据进行一波简单的可视化分析。
让我们愉快地开始吧~

开发工具

Python版本：3.6.4

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

感觉好久没用beautifulsoup了，所以今天就用它来解析网页从而获得我们自己想要的数据呗。以我自己的账户为例：

我们先抓取所有关注者的用户名，它在类似如下图所示的标签中：

用beautifulsoup可以很方便地提取它们：

\'\'\'获得followers的用户名\'\'\'
def getfollowernames(self):
    print(\'[INFO]: 正在获取%s的所有followers用户名...\' % self.target_username)
    page = 0
    follower_names = []
    headers = self.headers.copy()
    while True:
        page += 1
        followers_url = f\'https://github.com/{self.target_username}?page={page}&tab=followers\'
        try:
            response = requests.get(followers_url, headers=headers, timeout=15)
            html = response.text
            if \'ve reached the end\' in html:
                break
            soup = BeautifulSoup(html, \'lxml\')
            for name in soup.find_all(\'span\', class_=\'link-gray pl-1\'):
                print(name)
                follower_names.append(name.text)
            for name in soup.find_all(\'span\', class_=\'link-gray\'):
                print(name)
                if name.text not in follower_names:
                    follower_names.append(name.text)
        except:
            pass
        time.sleep(random.random() + random.randrange(0, 2))
        headers.update({\'Referer\': followers_url})
    print(\'[INFO]: 成功获取%s的%s个followers用户名...\' % (self.target_username, len(follower_names)))
    return follower_names

接着，我们就可以根据这些用户名进入到他们的主页来抓取对应用户的详细数据了，每个主页链接的构造方式为：

https://github.com/ + 用户名
例如: https://github.com/CharlesPikachu

我们想要抓取的数据包括：

同样地，我们利用beautifulsoup来提取这些信息：

for idx, name in enumerate(follower_names):
    print(\'[INFO]: 正在爬取用户%s的详细信息...\' % name)
    user_url = f\'https://github.com/{name}\'
    try:
        response = requests.get(user_url, headers=self.headers, timeout=15)
        html = response.text
        soup = BeautifulSoup(html, \'lxml\')
        # --获取用户名
        username = soup.find_all(\'span\', class_=\'p-name vcard-fullname d-block overflow-hidden\')
        if username:
            username = [name, username[0].text]
        else:
            username = [name, \'\']
        # --所在地
        position = soup.find_all(\'span\', class_=\'p-label\')
        if position:
            position = position[0].text
        else:
            position = \'\'
        # --仓库数, stars数, followers, following
        overview = soup.find_all(\'span\', class_=\'Counter\')
        num_repos = self.str2int(overview[0].text)
        num_stars = self.str2int(overview[2].text)
        num_followers = self.str2int(overview[3].text)
        num_followings = self.str2int(overview[4].text)
        # --贡献数(最近一年)
        num_contributions = soup.find_all(\'h2\', class_=\'f4 text-normal mb-2\')
        num_contributions = self.str2int(num_contributions[0].text.replace(\'\\n\', \'\').replace(\' \', \'\'). \\
                            replace(\'contributioninthelastyear\', \'\').replace(\'contributionsinthelastyear\', \'\'))
        # --保存数据
        info = [username, position, num_repos, num_stars, num_followers, num_followings, num_contributions]
        print(info)
        follower_infos[str(idx)] = info
    except:
        pass
    time.sleep(random.random() + random.randrange(0, 2))