Scrapy-Request中的回调函数不执行

Posted 2023-04-20

参考技术A scrapy-Request中的回调函数不执行
1.加上参数dont_filter=True（去重）
2.查看是不是allowed_domains范围内的url
3.yield Request 改为yield scrapy.http.Request

进程池中的回调函数

# 回调函数

# 指定一个任务后、并且指定一个回调函数后，当指定的进程池执行的任务结束后，会将该任务的返回值作为回调函数的参数传递到回调函数中，并且回调函数得以执行
    # 回调函数在主进程中被执行

# import os
# from multiprocessing import Pool
#
#
# def func1(n):
#     print(‘in func1‘, os.getpid())
#     return n * n
#
# def func2(nn):
#     print(‘in func2 %s ‘ % os.getpid())
#     print(nn)
#
# if __name__ == ‘__main__‘:
#     pool = Pool(4)
#     pool.apply_async(func1, args=(10, ), callback=func2)    # calback为回调参数，可以指定一个回调函数，这里指定回调函数为func2
#     pool.close()
#     pool.join()
#     print(os.getpid())



# 10个任务func1投入到含有4个进程的进程池中异步执行，并且指定回调函数为func2，当投入到进程池中的每个任务执行完后，都会将返回值作为参数返回给回调函数，并且回调函数在主进程得以执行
# 执行了10次func1、10次func2
from multiprocessing import Pool

def func1(n):
    print(‘in func1‘)
    return n * n

def func2(nn):
    print(‘in func2‘)
    print(nn)

if __name__ == ‘__main__‘:
    pool = Pool(4)
    for i in range(10):
        pool.apply_async(func1, args=(10, ), callback=func2)    # calback为回调参数，可以指定一个回调函数，指定进程池执行的任务结束后，会将任务的返回值作为参数传递给回调函数，并执行回调函数，回调函数是在主进程中得以执行的
    pool.close()
    pool.join()