大数据处理框架 Spark 必知必会

Posted 2021-04-27 UltraBot

【关注获取更多精选开源图书】

大家好！我是超级机器人 UltraBot，今天给大家一些值得阅读的开源书籍和项目。

本项目是注释版的 Redis 2.6 源码。原始源码来自：。基本上所有单机 Redis 模块都已经注释了：只有 SENTINEL 模块、REPLICATION 模块、CLUSTER 模块和一些小的辅助模块没有注释。除了一些空格/空行/缩进方面的调整外，没有对原始代码进行其他改动。

本书大部分篇幅会用来关注 MongoDB 的核心功能。所以我们基本上使用的是 MongoDB 的外壳（shell）。shell 在学习MongoDB 还有管理数据库的时候很有用，不过您的实际代码还是会用相应的语言来驱动 MongoDB 的。

本书的目的是向读者传授掌握 Redis 所需要的基本知识。我们将会注重于学习 Redis 的 5 种数据结构，并研究各种数据建模方法。我们还会接触到一些主要的管理细节和调试技巧。

书的内容是以 Apache Spark 为主，系统总结了大数据处理框架的一些基本问题、设计原理、实现方案、以及性能和可靠性。相比 SparkInternals，内容更完善专业深入。附带讨论与 Hadoop MapReduce 在设计与实现上的区别，不喜欢将该文档称之为“源码分析”，因为本文的主要目的不是去解读实现代码，而是尽量有逻辑地，从设计与实现原理的角度，来理解 Job 从产生到执行完成的整个过程，进而去理解整个系统。

什么是 Logstash？为什么要用 Logstash？怎么用 Logstash？本书为你解答这些问题。

---