将缓冲区写入 Java 通道：线程安全与否？

Posted 2023-03-14

【中文标题】将缓冲区写入 Java 通道：线程安全与否？

【英文标题】：Writing buffers to a Java channel: Thread-safe or not?

【发布时间】：2017-10-15 02:38:08

【问题描述】：

考虑以下代码 sn-p，它只是将someByteBuffer 的内容写入标准输出：

// returns an instance of "java.nio.channels.Channels$WritableByteChannelImpl"
WritableByteChannel w = Channels.newChannel(System.out);
w.write(someByteBuffer);

Java 指定channels are, in general, intended to be safe for multithreaded access，而buffers are not safe for use by multiple concurrent threads。

所以，我想知道上面的 sn-p 是否需要同步，因为它在某个缓冲区（不是线程安全的）上调用通道的 write 方法（应该是线程安全的） .

我看了一下implementation of the write method：

public int write(ByteBuffer src) throws IOException 
    int len = src.remaining();
    int totalWritten = 0;
    synchronized (writeLock) 
        while (totalWritten < len) 
            int bytesToWrite = Math.min((len - totalWritten),
                                        TRANSFER_SIZE);
            if (buf.length < bytesToWrite)
                buf = new byte[bytesToWrite];
            src.get(buf, 0, bytesToWrite);
            try 
                begin();
                out.write(buf, 0, bytesToWrite);
             finally 
                end(bytesToWrite > 0);
            
            totalWritten += bytesToWrite;
        
        return totalWritten;
    

请注意，除了方法中的前两行之外，所有内容都由writeLock 同步。现在，由于 ByteBuffer src 不是线程安全的，在没有适当同步的情况下调用 src.remaining() 是有风险的，因为另一个线程可能会更改它。

我应该在上面的 sn-p 中同步w.write(someByteBuffer) 行，还是我遗漏了一些东西，write() 方法的 Java 实现已经解决了这个问题？

编辑：这是一个经常抛出BufferUnderflowException 的示例代码，因为我在最后注释掉了synchronized 块。删除这些 cmets 将使代码异常免费。

import java.nio.*;
import java.nio.channels.*;

public class Test 
    public static void main(String[] args) throws Exception 

        ByteBuffer b = ByteBuffer.allocate(10);
        b.put(new byte[]'A', 'B', 'C', 'D', 'E', 'F', 'G', '\n');

        // returns an instance of "java.nio.channels.Channels$WritableByteChannelImpl"
        WritableByteChannel w = Channels.newChannel(System.out);

        int c = 10;
        Thread[] r = new Thread[c];
        for (int i = 0; i < c; i++) 
            r[i] = new Thread(new MyRunnable(b, w));
            r[i].start();
        
        


class MyRunnable implements Runnable 
    private final ByteBuffer b;
    private final WritableByteChannel w;

    MyRunnable(ByteBuffer b, WritableByteChannel w) 
        this.b = b;
        this.w = w;
    

    @Override
    public void run() 
        try 
            // synchronized (b) 
                b.flip();
                w.write(b);
            // 
         catch (Exception e) 
            e.printStackTrace();
        
    

【问题讨论】：

供将来参考：通道是线程安全的。例如，考虑在多个线程之间共享的打印机通道。如果所有线程都开始写入通道，它们的作业将不会交错。另一方面，如果多个线程可以访问打印机缓冲区，它们可以在打印过程中更改它，除非执行了适当的同步。

感谢您的快速接受；我很高兴能帮上忙。我也很欣赏这个写得很好，清晰的问题。最后加上“>”引用“摘要问题”的好主意！

@GhostCat：谢谢你！我想我很了解通道、缓冲区和线程安全发生了什么:)

【参考方案1】：

仅当您从多个线程进行多次写入并希望确保这些写入的原子性时才需要锁定 Channel，在这种情况下您需要锁定 System.out 对象。

如果您在线程间共享了一个非线程安全的变异数据结构，则需要添加锁定。如果可以的话，我会避免在多个线程中使用 ByteBuffer。

【讨论】：

最后一句“尽可能避免在多个线程中使用 ByteBuffer”是一个黄金建议！我会尽量在生产环境中记住它。然而，出于教育目的，我在我的问题中添加了一个示例代码，它演示了如果不同步会出现什么问题。请注意，锁定 ByteBuffer 也有效（而不是锁定 Channel）。做前者是不好的做法吗？

@M.S.Dousti 锁定 ByteBuffer 如果它实际上是一个全局锁，它就可以工作。不过，这对性能非常不利。

【参考方案2】：

重点是：如果您的设置允许多个线程篡改该缓冲区对象，那么您就会遇到线程问题.就是这么简单！

问题不在于 channel.write() 是否是线程安全的。很高兴知道这一点，但不是问题的核心！

真正的问题是：你的代码用那个缓冲区做什么？

当它操作的数据来自外部时，这个通道实现确实在内部锁定某物有什么帮助？！

你知道，src 对象进入此方法时可能会发生各种事情 - 该通道正忙于写入缓冲区！

换句话说：这段代码是否“安全”的问题完全取决于你的代码是如何并行处理那个src缓冲区对象的。

鉴于 OP 的评论：核心 点是：您必须确保使用该字节缓冲区的任何活动都是线程安全的。在给出的示例中，我们有两个操作：

b.flip();
w.write(b);

这些是每个线程将要做的唯一操作；因此：当确保只有 一个 线程可以进行这两个调用时（如图所示；通过查看 shared 缓冲区对象）；那你很好。

其实很简单：如果你有“共享数据”；那么您必须确保读取/写入“共享数据”的线程以某种方式同步以避免竞争条件。

【讨论】：

感谢您阐明可能出现的问题。我编辑了问题并添加了一个带有“注释”synchronized 块的代码。除非此块未注释，否则它通常会引发异常。我现在做对了吗（假设 cmets 已被移除）？

查看我对答案的更新；是的;给定您的示例代码，删除这些 cmets 将“解决”问题；并为您提供应该始终正常工作的线程安全解决方案。

ByteBuffer 不允许子类。但是在写入过程中不需要有一个子类来操作src 缓冲区。顺便说一句，如果目标是让多个线程写入相同的不变内容，最好在启动线程之前只执行一个flip()，然后让每个线程执行一个w.write(b.asReadOnlyBuffer());。这并没有复制数据，而是创建了一个独立的视图，有自己的位置、标记和限制，因此线程之间完全没有干扰，因此不需要额外的同步。