生产者消费者模型：Kotlin 多线程读写文件实例

Posted 2022-09-18 禅与计算机程序设计艺术

计算机科学中的所有问题，都可以通过添加一个间接层来解决。

 

 

生产者消费者模式就是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。

 

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这种生产消费能力不均衡的问题，所以便有了生产者和消费者模式。

 

优点：

 

解耦，即降低生产者和消费者之间的依赖关系。

比如我们在修改消费者功能时，不需要考虑生产者模块的代码，同理对于生产者

 

支持并发，即生产者和消费者可以是两个独立的并发主体，互不干扰的运行。

在生产者和消费者之间，因为是通过队列通讯，互不干扰，所以可以起两个线程，各自完成自己的工作

 

支持忙闲不均，如果制造数据的速度时快时慢，缓冲区可以对其进行适当缓冲。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。

 

 

生产者消费者问题是线程模型中的经典问题：生产者和消费者在同一时间段内共用同一存储空间，生产者向空间里生产数据，而消费者取走数据。

阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。

 

 

闲话不多说，直接上代码。

 

生产者：

 

/** * 将要写入文件的数据存入队列中 */class Producer(var queue: ConcurrentLinkedQueue<String>, var element: String) : Runnable 
    override fun run()         val item = "$element: $Thread.currentThread().name\\n"        queue.add(item)        println("Product $item")    

 

消费者：

/** * 从队列中消费数据 */class Consumer(var out: FileOutputStream, var queue: ConcurrentLinkedQueue<String>) : Runnable 
    override fun run()         while (true)             if (queue.isNotEmpty())                 Thread.sleep(10)                val element = queue.poll()                out.write(element.toByteArray())                println("Consume $element")                        

 

 

运行测试：

 

fun writeFile()     val queue = ConcurrentLinkedQueue<String>()
    val file = File("test.data")    if (!file.exists())         file.createNewFile()        val out = FileOutputStream(file)
    // 消费：单独启动一个线程来写文件    Thread(Consumer(queue = queue, out = out)).start()
    // 生产：启动多个线程生产数据    for (i in 0..1000)         Thread(Producer(queue = queue, element = "E$i")).start()        Thread.sleep(10)    

 

输出：

 

test.data 文件

 

E0: Thread-2028E1: Thread-2029E2: Thread-2030E3: Thread-2031E4: Thread-2032E5: Thread-2033E6: Thread-2034...E986: Thread-3014E987: Thread-3015E988: Thread-3016E989: Thread-3017E990: Thread-3018E991: Thread-3019E992: Thread-3020E993: Thread-3021E994: Thread-3022E995: Thread-3023E996: Thread-3024E997: Thread-3025E998: Thread-3026E999: Thread-3027E1000: Thread-3028

 

示例源码地址：

 

​​https://github.com/EasySpringBoot/kotlin-springboot​​

 

 

 

Kotlin 开发者社区

国内第一Kotlin 开发者社区公众号，主要分享、交流 Kotlin 编程语言、Spring Boot、android、React.js/Node.js、函数式编程、编程思想等相关主题。