python 多线程爬取网站数据利用线程池

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 多线程爬取网站数据利用线程池相关的知识,希望对你有一定的参考价值。

参考技术A """

@author: wangxingchun

多线程(线程池)

下载数据

"""

import requests

import csv

from concurrent.futures import ThreadPoolExecutor as tp

#创建一个csv文件,注意创建writer对象"csv.writer()"

f = open('xinfadi.csv','w',encoding='utf8')

csvwrite = csv.writer(f)

#如果写入txt文件,不需要创建writer对象。

# f = open('xinfadidata.txt','w',encoding='utf8')

#创建一个函数,以页码做为参数

def down(n_page):

url = 'http://www.xinfadi.com.cn/getPriceData.html'

data = 'count': 428225,'current': n_page,'limit': 20

resp = requests.post(url,data=data)

datas =resp.json()

#通过分析数据嵌套情况,获取数据。此处可在网页开发工具json数据中查看分析。

for i in range(len(datas['list'])):

name = datas['list'][i]['prodName']

highPrice = datas['list'][i]['highPrice']

lowPrice = datas['list'][i]['lowPrice']

pubDate = datas['list'][i]['pubDate']

place = datas['list'][i]['place']

csvwrite.writerow((name,highPrice,lowPrice,pubDate,place))#writerow要求写入的是可迭代对象

# f.writelines(f'name,highPrice,lowPrice,pubDate,place ')

resp.close()

if __name__ == '__main__':

with tp(50) as t: #创建线程池,

for n in range(1,101): #遍历数据网页

t.submit(down,n) #提交给线程池,进行多线程下载

print(f'共n页数据下载完毕!')

f.close()

以上是关于python 多线程爬取网站数据利用线程池的主要内容,如果未能解决你的问题,请参考以下文章

使用线程池多线程爬取链接,检验链接正确性

-4-利用线程池和进程池高效爬取北京某发菜地数据

Python 线程池模块,Python 多线程

python爬虫之线程池和进程池

第53天: Python 线程池

第53天: Python 线程池