涨知识:flume消费kafka数据从最新位置开始

Posted 高级Java面试题

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了涨知识:flume消费kafka数据从最新位置开始相关的知识,希望对你有一定的参考价值。

第5章 持久化

持久化,Redis的持久化功能有效避免因进程退出造成的数据丢失问题,本章首先介绍RDB和AOF两种持久化配置和运行流程,其次对常见的持久化问题进行定位和优化,最后结合Redis常见的单机多实例部署场景进行优化。

5.1 RDB

image

5.2 AOF

image

5.3 问题定位与优化

image

5.4 多实例部署

image

Tips:由于内容过多,下面章节内容我将主要展示各个知识点以及部分截图

第6章 复制

复制,在分布式系统中为了解决单点问题,通常会把数据复制多个副本部署到其他机器,用于故障恢复和负载均衡等需求,Redis也是如此。它为我们提供了复制(replication)功能,实现了多个相同数据的Redis副本。复制功能是高可用Redis的基础,后面章节的哨兵和集群都是在复制的基础上实现高可用。

6.1 配置

6.2 拓扑

6.3 原理

6.4 开发与运维中的问题

image

第7章 Redis的噩梦:阻塞

阻塞,Redis是典型的单线程架构,所有的读写操作都在一条主线程中完成的。当Redis用于高并发场景时这条线程就变成了它的生命线。如果出现阻塞哪怕是很短时间对于我们的应用来说都是噩梦。导致阻塞问题的场景大致分为内在原因和外在原因,本章将进行详细分析。

7.1 发现阻塞

7.2 内在原因

7.3 外在原因

image

第8章 理解内存

理解内存,Redis所有的数据存在于内存中,如何高效利用Redis内存变得非常重要。高效利用Redis内存首先需要理解Redis内存消耗在哪里,如何管理内存,最后再深入到如何优化内存。掌握这些知识后相信读者能够实现用更少的内存存储更多的数据从而降低成本。

8.1 内存消耗

8.2 内存管理

8.3 内存优化

image

第9章 哨兵

哨兵,Redis从2.8版本开始正式提供了Redis Sentinel,它有效解决了主从复制模式下故障转移的若干问题,为Redis提供了高可用功能。本章将一步步解析Redis Sentinel的相关概念、安装部署、配置、命令使用、原理解析,最后分析了Redis Sentinel运维中的一些问题。

9.1 基本概念

9.2 安装和部署

9.3 API

9.4 客户端连接

9.5 实现原理

9.6 开发与运维中的问题

image

第10章 集群

集群,是本书的重头戏,Redis Cluster是Redis3提供的Redis分布式解决方案,有效解决了Redis分布式方面的需求,理解应用好RedisCluster将极大的解放我们对分布式Redis的需求,同时它也是学习分布式存储的绝佳案例。本章将针对RedisCluster的数据分布,搭建集群,节点通信,请求路由,集群伸缩,故障转移等方面进行分析说明。

10.1 数据分布

10.2 搭建集群

10.3 节点通信

10.4 集群伸缩

10.5 请求路由

10.6 故障转移

10.7 集群运维

image

第11章 缓存设计

缓存能够有效加速应用的读写速度,以及降低后端负载,对于开发人员进行日常应用的开发至关重要,但是将缓存加入应用架构后也会带来一些问题,本章将介绍缓存使用和设计中遇到的问题,具体包括:缓存的收益和成本、缓存更新策略、缓存粒度控制、穿透问题优化、无底洞问题优化、雪崩问题优化、热点key优化。

11.1 缓存的收益和成本

11.2 缓存更新策略

11.3 缓存粒度控制

11.4 穿透优化

11.5 无底洞优化

11.6 雪崩优化

11.7 热点key重建优化

image

第12章 开发运维的“陷阱”

介绍Redis开发运维中的一些棘手问题,具体包括:Linux配置优化、flush误操作数据恢复、如何让Redis变得安全、bigkey问题、热点key问题。

12.1 Linux配置优化

12.2 flushall/flushdb误操作

12.3 安全的Redis

12.4 处理bigkey

12.5 寻找热点key

image

第13章 Redis监控运维云平台CacheCloud

Redis监控运维云平台CacheCloud,介绍笔者所在团队开源的Redis运维工具CacheCloud,它有效解决了Redis监控和运维中的一些问题,本章将按照快速部署、机器部署、接入应用、用户功能、运维功能多个维度全面的介绍CacheCloud,相信在它的帮助下,读者可以更好的监控和运维好Redis。

13.1 CacheCloud是什么

13.2 快速部署

13.3 机器部署

13.4 接入应用

13.5 用户功能

13.6 运维功能

13.7 客户端上报

image

第14章 Redis配置统计字典

Redis配置统计字典,会对Redis的系统状态信息以及全部配置做一个全面的梳理,希望本章能够成为Redis配置统计字典,协助大家分析和解决日常开发和运维中遇到的问题。

14.1 info系统状态说明

14.2 standalone配置说明和分析

14.3 Sentinel配置说明和分析

14.4 Cluster配置说明和分析

image

总结

对于面试还是要好好准备的,尤其是有些问题还是很容易挖坑的,例如你为什么离开现在的公司(你当然不应该抱怨现在的公司有哪些不好的地方,更多的应该表明自己想要寻找更好的发展机会,自己的一些现实因素,比如对于我而言是现在应聘的公司离自己的家更近,又或者是自己工作到达了迷茫期,想跳出迷茫期等等)

image

需要面试题以及项目大纲的朋友点赞+收藏后,点击这里免费获取!诚意满满!!

Java面试精选题、架构实战文档:传送门

整理不易,觉得有帮助的朋友可以帮忙点赞分享支持一下小编~

友点赞+收藏后,点击这里免费获取!诚意满满!!**

Java面试精选题、架构实战文档:传送门

整理不易,觉得有帮助的朋友可以帮忙点赞分享支持一下小编~

你的支持,我的动力;祝各位前程似锦,offer不断!

以上是关于涨知识:flume消费kafka数据从最新位置开始的主要内容,如果未能解决你的问题,请参考以下文章

kafka查看消费了多少条数据

涨姿势了解一下Kafka消费位移可好?

flume从Kafka消费数据到HDFS

20180204今日知识之kafka+flume

Flume简介与使用——Kafka Sink消费数据之Kafka安装

flume整合数据到kafka,sparkStreaming消费数据,并存储到hbase和redis中