爬取腾讯社招职位信息

Posted nuochengze

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取腾讯社招职位信息相关的知识,希望对你有一定的参考价值。

腾讯社招职位(多线程+线程池)

 

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

version_1

声明:本内容仅学习参考,如有侵权,将立即删除

<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

 

1、开发文档

域名:https://careers.tencent.com/search.html?index=1

返回数据:json
数据地址:https://careers.tencent.com/tencentcareer/api/post/Query?&countryId=1&pageIndex=1&pageSize=10&language=zh-cn&area=cn
数据地址分析:需要有countryId,area
要求:(1)招聘网站的中国地区职位名称、职位类别、招聘人数、工作地点、发布时间、以及每个职位详情的点击连接

分析:(1)formdata分析
    0>method:get
    1>关键字有:pageIndex,pageSize,timestamp
    2>去掉pageIndex失效,相关参数
    3>去掉pageSize失效,相关参数,默认为10,改写数字,返回相应数量数据,建议为默认值,构建获取api规则
    4>去掉timestamp有效,非相关参数,有js生成,为时间戳,作用暂时未知,是否为反爬虫策略未知
    5>countryId和area确定爬取的范围
   (2)共有5573条中国地区职业数据
   (3)headers分析
    1>User-Agent,相关参数
    2>referer:
        https://careers.tencent.com/search.html?query=co_1&sc=1
        https://careers.tencent.com/search.html?query=co_1&index=2&sc=1
        https://careers.tencent.com/search.html?query=co_1&index=3&sc=1
        相关参数,index=pageIndex,需要构建requests-headers分析
        将referer和url一条一条对应起来村放入url_referer_queue中
    3>cookie,因未登录即可浏览,可附带,但不是必须
    4>初步设想:队列里按顺序存取,因此每个url对应一个refer,待验证

技术:(1)使用队列存取数据
   (2)使用线程池处理线程,或可以用来请求json数据(待测试)>>>>>>>(因为使用了队列,故不需要)
   (3)json存取,或可以保存为csv文件(待测试)

2、源代码  

import requests
from queue import Queue
import json
from threading import Thread
from multiprocessing.dummy import Pool


class Txsz():
    def __init__(self):
        # 总共的数据条数
        self.count = 5573
        # 创建初始url
        self.start_url = "https://careers.tencent.com/tencentcareer/api/post/Query?&countryId=1&pageIndex={}&pageSize=10&language=zh-cn&area=cn"
        # 创建start_referer和second_referer
        self.start_referer = "https://careers.tencent.com/search.html?query=co_1&sc=1"
        self.second_referer = "https://careers.tencent.com/search.html?query=co_1&index={}&sc=1"
        """
        创建队列
        self.url_queue存放url
        self.json_queue存放所有的json
        self.content_queue存放解析的内容
        """
        self.url_referer_queue = Queue()
        self.json_queue = Queue()
        self.content_queue = Queue()

    def get_url(self):
        """
        构建爬去的url
        参数pageIndex,pageSize 变化,由count=5727设计
        url_list返回待待爬取列表
        """
        pageSize = 10
        for pageIndex in range(1,self.count//pageSize+2):
            item = dict()
            url = self.start_url.format(pageIndex)

            if pageIndex==1:
                referer = self.start_referer
            else:
                referer = self.second_referer.format(pageIndex)

            item["url"] = url
            item["referer"] = referer

            self.url_referer_queue.put(item)
    
    def get_json(self):
        """
        获取返回的json数据,原则上每条url对应一个json数据
        """
        while self.url_referer_queue.not_empty:
            """判断非空,则执行操作,否则跳出"""
            # 获取url,referer
            item = self.url_referer_queue.get()
            url = item["url"]
            referer = item["referer"]

            # 构造请求头
            headers = {
            "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
            "cookie": "_ga=GA1.2.275188285.1582376294; pgv_pvi=4879193088; _gcl_au=1.1.1802818219.1582376295; loading=agree",
            "referer":referer,
            }
            print("spider_url:",url)
            # 获取响应的json
            response = requests.get(url,headers=headers).content.decode()
            # 将str转化为dict
            response = json.loads(response)
            # 添加获取到的json到json_queue
            self.json_queue.put(response)
            # 队列计数减一
            self.url_referer_queue.task_done()

    def get_content(self):
        """
        分析json_queue中的单项json,并提取数据
        职位名称:RecruitPostName
        职位ID:PostId
        每个职位详情页地址:PostURL
        职位类别:CategoryName
        工作地点:LocationName
        发布时间:LastUpdateTime
        工作职责:Responsibility
        """
        while self.json_queue.not_empty:
            # 获取json
            json_ = self.json_queue.get()
            Posts = json_["Data"]["Posts"]
            for item in Posts:
                item_dict = {
                    "RecruitPostName":item["RecruitPostName"],
                    "PostId":item["PostId"],
                    "PostURL":item["PostURL"],
                    "CategoryName":item["CategoryName"],
                    "LocationName":item["LocationName"],
                    "LastUpdateTime":item["LastUpdateTime"],
                    "Responsibility":item["Responsibility"],
                }
                self.content_queue.put(item_dict)
            self.json_queue.task_done()

    def save_content(self):
        while self.content_queue.not_empty:
            item = self.content_queue.get()
            with open("tencent_social_positoon.json","a",encoding="utf-8") as f:
                f.write(json.dumps(item,ensure_ascii=False,indent=2))
                f.write(",")
            self.content_queue.task_done()

    def run(self):
        """
        实现主要逻辑
        """
        # 创建线程列表
        thread_list = list()
        # 创建get_url方法的线程
        url_thread = Thread(target=self.get_url)
        thread_list.append(url_thread)
        # 创建get_json方法的线程
        json_thread = Thread(target=self.get_json)
        thread_list.append(json_thread)
        # 创建get_content方法的线程
        content_thread = Thread(target=self.get_content)
        thread_list.append(content_thread)
        # 创建save_content方法的线程
        save_content_thread = Thread(target=self.save_content)
        thread_list.append(save_content_thread)

        # # 创建线程池
        # pool = Pool(10)

        # def process_thread(thread_):
        #     thread_.setDaemon(True)
        #     thread_.start()

        # pool.map(process_thread,thread_list)
        for t in thread_list:
            t.setDaemon(True)
            t.start()

        # 让各队列全空才退出主线程
        self.url_referer_queue.join()
        self.json_queue.join()
        self.content_queue.join()


if __name__=="__main__":
    obj = Txsz()
    obj.run()

 

以上是关于爬取腾讯社招职位信息的主要内容,如果未能解决你的问题,请参考以下文章

Python 爬取拉勾网python职位信息

拉钩网爬取所有python职位信息

腾讯科技 | 社招校招齐招自然语言处理工程师

通俗易懂的分析如何用Python实现一只小爬虫,爬取拉勾网的职位信息

爬取51job职位信息之编码问题

21天打造分布式爬虫-Selenium爬取拉钩职位信息