数据挖掘_并行并发介绍和同步异步介绍

Posted susmote

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据挖掘_并行并发介绍和同步异步介绍相关的知识,希望对你有一定的参考价值。

 

前面跟大家讲的request s和spynner都是单进程(单线程)的顺序抓取,而并发和并行执行的异步抓取会极大地提高抓取效率。

 

并行和并发

并发和并行使两个相似的概念,并发是指在一个时间段内发生若干事件的情况,并行是指在同一时刻发生若干事件的情况。

我们可以以CPU的工作方式来说明这两个概念

 

单核CPU下,多任务操作系统的各任务是以并发的方式运行的,因为只有一个处理器,所以各任务会以分时的方式在一段事件内分别占用CPU依次执行,如果在自己分得的时间段内没有完成,那么就需要等到下一次得到CPU的使用权时才会继续执行,直到整个任务完成,因为CPU的切换速度很快,所以给我们的感觉就是同时在运行多个任务

 

多核CPU下,因为有两个以上(包含两个)可以同时工作的内核,所以就有可能在各个核上运行的任务能同时进行,这就叫做并行

 

通过这张图你应该能更好的理解(串行不在我们考虑的范围内)

 

 

同步和异步

同步和异步的概念,一般会涉及到多个任务或事件的参与。可以在并发或并行的背景下去理解这两个概念

 

同步指的是并发或并行发生的各任务之间不是孤立独自运行的,一个任务的进行可能需要在获得另一个任务的给出的结果之后

或者说是只有一个任务完成或给出一个结果之后,另一个任务在获得这个结果后才能继续运行

总之,各任务的运行会彼此相互制约,节奏和步调要协调好,否则就会出现错误

 

异步指的是并发或并行发生的各任务之间彼此是独立运行的,不受各自的影响,这是异步与同步最主要的区别

 

 

实际工作中如何进行选择

当需要多个任务互相配合在并发或并行环境中合作完成时,就需要以同步的方式运行

操作系统是以信号量机制来实现同步的,各类编程语言也在进行并行或并发程序设计时提供了同步机制

例如Python在多线程设计时的锁机制

 

 

当我们需要将一个大的任务分解成若干个小的子任务时,各子任务可以分别独自完成,彼此之间不需要互相协作,这是就可以考虑使它们异步地并行或异步地并发执行

这在数据抓取时始终很常见的模式,将若干要抓取的链接分为几组,然后对每组分别使用子任务进行抓取,待各子任务抓取结束后,再将结果进行汇总,完成整个任务

 

关于这些概念大概就是这些,如果不是太明白,可以自己查阅资料弄明白

 

以上是关于数据挖掘_并行并发介绍和同步异步介绍的主要内容,如果未能解决你的问题,请参考以下文章

并发与并行同步与异步,线程安全的实现

并发与并行同步与异步,线程安全的实现

并发与并行同步与异步,线程安全的实现

python 同步异步,并发并行,同步锁

python-并发并行同步异步同步锁

并发&并行 同步&异步 GIL 任务 同步锁 死锁 递归锁