Node.js的Buffer(缓冲区)和Stream

Posted 2022-04-13 勇敢*牛牛

Node.js的Buffer缓冲区和Stream

• Buffer 类
• • 8种编码方式
  • 实例：
• 创建 Buffer 类
• • Buffer 实例
• 写入缓冲区
• 从缓冲区读取数据
• • 语法
• 将 Buffer 转换为 JSON 对象
• 缓冲区合并
• Node.js Stream(流)
• 写入流
• 管道流

Buffer 类

• javascript 语言自身只有字符串数据类型，没有二进制数据类型。 但在处理像TCP流或文件流时，必须使用到二进制数据。因此在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。
• 在 Node.js 中，Buffer 类是随 Node 内核一起发布的核心库。
• Buffer 库为 Node.js 带来了一种存储原始数据的方法，可以让 Node.js 处理二进制数据，每当需要在 Node.js 中处理I/O操作中移动的数据时，就有可能使用 Buffer 库。
• 原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组，但它对应于 V8 堆内存之外的一块原始内存。

8种编码方式

1. ascii - 仅支持 7 位 ASCII 数据。如果设置去掉高位的话，这种编码是非常快的。
2. utf8 - 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8 。
3. utf16le - 2 或 4 个字节，小字节序编码的 Unicode 字符。支持代理对（U+10000 至 U+10FFFF）。
4. ucs2 - utf16le 的别名。
5. base64 - Base64 编码点击查看详情
6. latin1 - 一种把 Buffer 编码成一字节编码的字符串的方式。
7. binary - latin1 的别名。
8. hex - 将每个字节编码为两个十六进制字符。

实例：

const buf = Buffer.from('宁夏大学新华学院2019', 'ascii');
console.log(buf);
console.log(buf.toString('hex'));
console.log(buf.toString('base64'));

创建 Buffer 类

Buffer 提供了以下 API 来创建 Buffer 类：

1. Buffer.alloc(size[, fill[, encoding]])： 返回一个指定大小的 Buffer 实例，如果没有设置 fill，则默认填满 0
2. Buffer.allocUnsafe(size)： 返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据
3. Buffer.allocUnsafeSlow(size)
4. Buffer.from(array)： 返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）
5. Buffer.from(arrayBuffer[, byteOffset[, length]])： 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
6. Buffer.from(buffer)： 复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例
7. Buffer.from(string[, encoding])： 返回一个被 string 的值初始化的新的

Buffer 实例

const buf1 = Buffer.alloc(10);
console.log(buf1);
const buf2 = Buffer.alloc(10, 1);
console.log(buf2);
const buf3 = Buffer.allocUnsafe(10);
console.log(buf3);
const buf4 = Buffer.from([1, 2, 3, 4]);
console.log(buf4);
const buf5 = Buffer.from('test');
console.log(buf5);
const buf6 = Buffer.from('test', 'latin1');

写入缓冲区

buf.write(string[, offset[, length]][, encoding])

参数描述如下：
string - 写入缓冲区的字符串。
offset - 缓冲区开始写入的索引值，默认为 0 。
length - 写入的字节数，默认为 buffer.length
encoding - 使用的编码。默认为 ‘utf8’ 。
返回值:返回实际写入的大小。
如果 buffer 空间不足， 则只会写入部分字符串。

const buf1 = Buffer.alloc(256);
var a = buf1.write("www.baidu.com");
console.log(buf1);
console.log(a + '位');

从缓冲区读取数据

语法

读取 Node 缓冲区数据的语法如下所示：

buf.toString([encoding[, start[, end]]])

参数描述如下
encoding - 使用的编码。默认为 ‘utf8’ 。
start - 指定开始读取的索引位置，默认为 0。
end - 结束位置，默认为缓冲区的末尾。
返回值:解码缓冲区数据并使用指定的编码返回字符串。

const buf = Buffer.alloc(26);
for (var i = 0; i < 26; i++) 
    buf[i] = i + 97;

console.log(buf);
console.log(buf.toString('ascii'));
console.log(buf.toString('ascii', 0, 5));
console.log(buf.toString('utf8', 0, 5));
console.log(buf.toString(undefined, 0, 5));

将 Buffer 转换为 JSON 对象

const buf = Buffer.from([0x1, 0x2, 0x3, 0x4, 0x5]);
const json = JSON.stringify(buf);
console.log(json);

缓冲区合并

语法
Node 缓冲区合并的语法如下所示：

Buffer.concat(list[, totalLength])

参数描述如下
list - 用于合并的 Buffer 对象数组列表。
totalLength - 指定合并后Buffer对象的总长度。
返回值:返回一个多个成员合并的新 Buffer 对象。

var buf1 = Buffer.from(('宁夏大学新华学院'));
var buf2 = Buffer.from(('信息与计算机科学系'));
var buf3 = Buffer.concat([buf1, buf2]);
console.log("buf3的内容是：", buf3.toString());

Node.js Stream(流)

从流中读取数据
创建 input.txt 文件，内容如下：
宁夏大学新华学院信息与计算机科学系：计算机科学与技术专业

var fs = require('fs');
var data = '';

var readerStream = fs.createReadStream('input.txt');
readerStream.setEncoding('utf8');
readerStream.on('data', function (chunk) 
    data += chunk;
)
readerStream.on('end', function () 
    console.log(data);
)
readerStream.on('error', function (err) 
    console.log(err.stack);
)
console.log('执行完毕');

写入流

var fs = require('fs');
const  finished  = require('stream');
var data = '宁夏大学新华学院信息与计算机科学系： 计算机科学与技术专业';
var a = fs.createWriteStream('output.txt');
a.write(data, 'UTF8');
a.end();
a.on("finish", function () 
    console.log("写入完成");
)
a.on("error", function (err) 
    console.log(err.stack);
)
console.log('执行完毕');

管道流

管道提供了一个输出流到输入流的机制。通常我们用于从一个流中获取数据并将数据传递到另外一个流中。

var fs = require('fs');
var a = fs.createReadStream('input.txt');
var b = fs.createWriteStream('output.txt');
a.pipe(b);
console.log('执行完毕');