怎么才能减缓读取kafka数据的速度

Posted 2023-05-10

参考技术A spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件：1.数据输入需要可靠的sources和可靠的receivers2.应用metadata必须通过应用driver checkpoint3.WAL（write ahead log）

读《程序是怎么跑起来的》第五章有感

磁盘中存储的程序，必须加载到内存中后才可以运行。因为负责解析和运行程序内容的CPU，需通过内部程序计数器来指定内存地址，然后才能读出程序。即使CPU可以直接读取并运行磁盘中的程序由于磁盘读取速度慢，程序运行速度也会降低。

磁盘缓存：把从磁盘中读取出来的数据存储到内存空间的方式，这样当接下来读取同一数据时，就不用通过实际的磁盘，而是从磁盘缓存中将内容读出。可以大大改善访问磁盘的速度。

虚拟内存：把磁盘的一部分作为假象的内存来使用。这与磁盘缓存是假想的磁盘（实际是内存）相对，虚拟内存是假想的内存（实际是磁盘）。

虚拟内存的方式有分页和分段式

分页式：在不考虑程序构造的情况下，把运行的程序按照一定大小的页进行分割，并以页为单位在内存和磁盘间进行置换。

分段式：把要运行的程序分割成以处理集合及数据集合等为单位的段落，然后再以分割后的段落为单位在内存和磁盘之间进行数据置换。