golang中bufio包

Posted 2023-03-24

参考技术A 一、介绍go标准库中的bufio
最近用golang写了一个处理文件的脚本，由于其中涉及到了文件读写，开始使用golang中的 io 包，后来发现golang 中提供了一个bufio的包，使用这个包可以大幅提高文件读写的效率，于是在网上搜索同样的文件读写为什么bufio 要比io 的读写更快速呢？根据网上的资料和阅读源码，以下来详细解释下bufio的高效如何实现的。

bufio 包介绍
bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象，创建另一个也实现了该接口，且同时还提供了缓冲和一些文本I/O的帮助函数的对象。

以上为官方包的介绍，在其中我们能了解到的信息如下：

bufio 是通过缓冲来提高效率

简单的说就是，把文件读取进缓冲（内存）之后再读取的时候就可以避免文件系统的io 从而提高速度。同理，在进行写操作时，先把文件写入缓冲（内存），然后由缓冲写入文件系统。看完以上解释有人可能会表示困惑了，直接把 内容->文件 和 内容->缓冲->文件相比， 缓冲区好像没有起到作用嘛。其实缓冲区的设计是为了存储多次的写入，最后一口气把缓冲区内容写入文件。下面会详细解释

bufio 封装了io.Reader或io.Writer接口对象，并创建另一个也实现了该接口的对象

io.Reader或io.Writer 接口实现read() 和 write() 方法，对于实现这个接口的对象都是可以使用这两个方法的

注明：介绍内容来自博主 LiangWenT
，原文链接： https://blog.csdn.net/LiangWenT/article/details/78995468 ，在查找资料时，发现这篇博客的内容很好理解

bufio包实现了缓存IO。它包装了io.Reader和io.Write对象，创建了另外的Reader和Writer对象，它们也实现了io.Reader和io.Write接口，具有缓存。注意：缓存是放在主存中，既然是保存在主存里，断电会丢失数据，那么要及时保存数据。

二、常用内容
1、Reader类型

NewReaderSize

作用：NewReaderSize将rd封装成一个带缓存的bufio.Reader对象。缓存大小由size指定（如果小于16则会被设为16）。如果rd的基类型就是有足够缓存的bufio.Reader类型，则直接将rd转换为基类型返回。
NewReader

funcReader相当于NewReaderSize(rd, 4096)
Peek

Peek返回缓存的一个切片，该切片引用缓存中前n个字节的数据，该操作不会将数据读出，只是引用，引用的数据在下一次读取操作之前有效的。如果切片长度小于n，则返回一个错误信息说明原因。如果n大于缓存的总大小，则返回ErrBufferFull。
Read

Read从b中数据到p中，返回读出的字节数和遇到的错误。如果缓存不为空，则只能读出缓冲中的数据，不会从底层io.Reader中提取数据，如果缓存为空，则：
1、len(p) >= 缓存大小，则跳过缓存，直接从底层io.Reader中读出到p中
2、len(p)< 缓存大小，则先将数据从底层io.Reader中读取到缓存中，再从缓存读取到p中。
Buffered

Buffered返回缓存中未读取的数据的长度。
Discard

Discard跳过后续的n个字节的数据，返回跳过的字节数。

Writer类型和方法
write结构

NewWriteSize

NewWriterSize将wr封装成一个带缓存的bufio.Writer对象，缓存大小由size指定（如果小于4096则会被设置未4096）。
NewWrite

NewWriter相等于NewWriterSize(wr, 4096)

WriteString

WriteString功能同Write，只不过写入的是字符串
WriteRune

WriteRune向b写入r的UTF-8编码，返回r的编码长度。
Flush

Available

Available 返回缓存中未使用的空间的长度
Buffered

Buffered返回缓存中未提交的数据长度
Reset

Reset将b的底层Write重新指定为w，同时丢弃缓存中的所有数据，复位所有标记和错误信息。相当于创建了一个新的bufio.Writer。

GO中还提供了Scanner类型，处理一些比较简单的场景。如处理按行读取输入序列或空格分隔的词等。
内容来自： https://blog.csdn.net/wangshubo1989/article/details/70177928

参考链接：
1） https://blog.csdn.net/LiangWenT/article/details/78995468
2） https://blog.csdn.net/wangshubo1989/article/details/70177928

golang 缓冲区的终端输入

 bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象，os.stdin就是实现了这个接口

package main

import (
	"bufio"
	"fmt"
	"os"
)

var buff *bufio.Reader

func main() {

	buff = bufio.NewReader(os.Stdin)

	str, err := buff.ReadString(‘
‘)

	if err == nil {
		fmt.Printf("input was :%s", str)
	}

}

ReadString(byte) 遇到byte后返回，包含已读到的和byte，如果在读到之前遇到错误，返回读取的信息及该错误

 

在写文件时。可以写入缓冲区来可以提升磁盘性能