Data Lake学习资料推荐

Posted 2022-10-23 cdai

Data Lake学习资料推荐

• 整体介绍和产品

  • 《Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics》

  • 《The Snowflake Elastic Data Warehouse》

• 数据存储：表、文件列存

  • 《Delta Lake: High-Performance ACID Table Storage over Cloud Object Stores》
  • 《Weaving Relations for Cache Performance》
  • 《C-Store: A Column-oriented DBMS》

• 查询引擎：Hive、SparkSQL、Presto/Trino

  • 《Hive – A Petabyte Scale Data Warehouse Using Hadoop》
  • 《Spark SQL: Relational Data Processing in Spark》
  • 《Presto: SQL on Everything》
  • 《Presto: The Definitive Guide - Starburst》: 第四章Presto架构

• 查询引擎优化：向量化

  • 《MonetDB/X100: Hyper-Pipelining Query Execution》
  • 《Zero-Cost, Arrow-Enabled Data Interface for Apache Spark》

• 查询加速技术：索引、MV、缓存、AQP

  • 《A Survey On Big Data Indexing Strategies》

  • 《Hyperspace: The Indexing Subsystem of Azure Synapse》

  • 《Small Materialized Aggregates: A Light Weight Index Structure for Data Warehousing》

  • 《Approximate Query Processing: No Silver Bullet》

  • 《Dimensions based data clustering and zone maps》