大数据与云计算技术周报（第156期)

Posted 2021-04-26 大数据和云计算技术

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据与云计算技术周报（第156期)相关的知识，希望对你有一定的参考价值。

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：MongoDB、Flink、Kubernetes、kylin、spark、Alluxio、机器学习、Hredis。全是干货，希望大家喜欢！！！

1MongoDB

本文讲述了MongoDB分页top N通过修改业务SQL逻辑实现性能优化，分页翻页则skip改写实现性能优化，并在分页翻页中分析ESR、ER、ES索引的性能；

2Kubernetes

Argo CD是基于GitOps模型的持续集成工具，搭配CI工具完成应用的自动构建并推送镜像到仓库中，配合CD完成应用的持续交付。

3Flink

趣头条一直致力于使用大数据分析指导业务发展。目前在实时化领域主要使用 Flink+ClickHouse 解决方案，覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略，整体响应 80% 在 1 秒内完成，大大提升了用户实时取数体验，推动业务更快迭代发展。

4Kylin

本文讲解了爱奇艺Kylin如何处理千亿级数据的最佳实践。

5Spark

Spark3.0解决了超过3400个JIRAs，历时一年多，是整个社区集体智慧的成果。Spark SQL和Spark Cores是其中的核心模块，其余模块如PySpark等模块均是建立在两者之上。

6Alluxio

Alluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。

7数据科学

经典数据结构和算法在数据科学中的作用

8Redis

Redis 双向同步系统中可能面临的问题，以及其中一种问题（分布式一致性）的部分处理方案 -- CRDT（Conflict-free ReplicatedData Types）

9在线数据迁移

在线数据迁移，是指将正在提供线上服务的数据，从一个地方迁移到另一个地方，整个迁移过程中要求不停机，服务不受影响。根据数据所处层次，可以分为 cache 迁移和存储迁移；根据数据迁移前后的变化，又可以分为平移和转移。

10机器学习

滴滴机器学习团队从 2018 年 9 月开始调研和搭建自研推理引擎平台 IFX，在 2018 年 12 月开始对内提供服务，并在司机端和乘客端 APP 中落地。

11开心一刻

在面对一个不想接的需求时，程序员的几个理由：

这个需求太out了目前服务器性能跟不上目前现有的技术实现不了去找老板排期吧，这个很费时间的

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞