Google bigquery中的提取工作者是否将数据保存到Columnar Storage遵循FIFO模式？

Posted 2021-04-16

据我所知，bigquery streaming insert lifecycle 也在下图中显示。数据在Columnar Storage中可用之前通过流缓冲区。处理数据的工作由Extraction Workers完成。

但是，在文档中，没有提到提取工作者如何处理数据。他们是按照随机顺序进行处理还是进行FIFO处理？

答案

流缓冲区是一个队列，提取工作程序按顺序处理行。提取工作者在达到一定数量的数据时或者在经过一定时间后从队列中取出，以便将足够大的数据块写入托管存储。 BigQuery中的底层存储格式是Capacitor，它重新排序行，因为它将它们持久化到磁盘并执行各种其他优化。