用python爬取i春秋的课程

Posted 2020-10-26 Kn0w_N0ThInG

看课中内容是用get请求进行爬取课程，自己实践的时候发现已经被改成post请求了，下面开始

打开课程页面

我用的火狐，然后就是F12，点击网络，可能会有很多包，但不影响，点击删除就行，然后点击第二页,其他页面也行，可以看出总共是有17页的

然后会出现很多包，找到下面这个，点击查看

点击后会看到消息头请求网址，这个就是我们要用的url

复制到代码中

i_url = \'https://www.ichunqiu.com/courses/ajaxCourses\'

接下来查看参数

然后发现“pageIndex”，很明显是指的第几页，可以试一下第四页数值是4，，，。这是post要用的表单数据，搞进代码，因为pageIndex值需要改变，我将它设为空值

post_data = {
                \'courseTag\':\'\',
                \'courseDiffcuty\':\'\',
                \'IsExp\':\'\',
                \'producerId\':\'\',
                \'orderField\':\'\',
                \'orderDirection\':\'\',
                \'pageIndex\':\'\',
                \'tagType\':\'\'
            }

由于i春秋设置了防爬虫处理，因此我们需要添加headers，headers就不多说了（不想暴露自己的配置，我不会告诉你我还用的xp），用火狐很简单，点击编辑重发，复制就行。接下来就是查看响应

很明显这是json数据，先import json再说，可以找到课是在course中的result下，从0开始，我们可以用“len(raw_data[\'course\'][\'result\'])”查看该页面有几个课程，用raw_data[\'course\'][\'result\'][0][‘courseName’]来获取第一个课程名字，下面是代码

#-------------
#Author:Glasses
#-------------
import requests
import json


def getData():
    
    i_url = \'https://www.ichunqiu.com/courses/ajaxCourses\'
   
    headers = {
           
        }
#headers 自己填
    for p_index in range(1,18):
        post_data = {
                \'courseTag\':\'\',
                \'courseDiffcuty\':\'\',
                \'IsExp\':\'\',
                \'producerId\':\'\',
                \'orderField\':\'\',
                \'orderDirection\':\'\',
                \'pageIndex\':\'\',
                \'tagType\':\'\'
            }
        post_data[\'pageIndex\'] = p_index

        r = requests.post(i_url,headers=headers,data=post_data,timeout=10)

        raw_data = json.loads(r.text)
        
        for i in range(len(raw_data[\'course\'][\'result\'])):
            print raw_data[\'course\'][\'result\'][i][\'courseName\']


getData()
    

来i春秋一起学习吧，

进阶吧！小白，只要摔不死我就继续摔！