类+进程池的方法爬取喜马拉雅

Posted 2021-02-07 future-dream

python是一门面向对象的语言，那么我们在写爬虫的时候自然也可以用到类的封装来实现爬虫。

一、类的使用

　　首先是对类的封装，可以将一些请求头写入构造函数当中（因为后面有进程池使用，所以构造函数不需要带参数，如果带上在后面的进程池中，也会报错）。

二、Ajax数据处理

　　喜马拉雅的音乐也是采用Ajax的数据交互方式，所以需要用到urllib来构造请求的网址，因此在类的函数中需要传递一个参数，来控制访问的页面的内容。

1 data = {
2             "albumId": 3627097,
3             "pageNum": n,
4             "sort": -1,
5             "pageSize": 30
6         }
7         url_1 = "https://www.ximalaya.com/revision/play/album?" + urlencode(data)

可以看到需要参数n来控制URL，并且进程中我们也是要利用这个n值的。

三、Pool

　　导入第三方模块

 1 from multiprocessing import Pool

 

1     def download(self):
2         groups = [x for x in range(1, 34)]
3         pool = Pool(5)
4         pool.map(self.parse, groups)

 

def download(self):
    groups = [x for x in range(1, 34)]
    pool = Pool(5)
    pool.map(self.parse, groups)