3套视频,搞定LuceneEsElk stack
Posted Java充电社
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了3套视频,搞定LuceneEsElk stack相关的知识,希望对你有一定的参考价值。
今天帮大家进行挑选了 3 套视频,搞定下面这 3 种技术:
1、Lucene
java 界排名第一的全文检索技术,查询数据的速度超快
2、Elasticsearch
一个基于 Lucene 搜索引擎为核心构建的开源,分布式,RESTful 搜索服务器;设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便,轻松扩展服务节点
3、Elk stack
包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。elk 用的比较多的是:日志分析,使用 Beats 和 Logstash 来收集各个系统产生的日志,然后通过 Kibana 的 web 界面来展示日志,内部使用 Elasticsearch 快速检索这些日志。
3 个技术建议按顺序学,下面上视频。
1、Lucene
课程名称
《超系统学习 Lucene 全文检索技术》
https://www.bilibili.com/video/BV1eJ411q7nw
时长
6.5 小时
课程介绍
Lucene 是一款 Java 语言编写的全文检索引擎工具包。目前 java 语言实现的全文检索引擎技术框架大部分底层使用的都是 Lucene 实现。目前业界流行的 ElasticSearch 和 Solr 搜索技术底层正是使用 Lucene 实现的。使用全文检索技术可以构建像百度、谷歌、京东搜索、淘宝搜索等系统和功能。在本套课程中,我们将全面的讲解 Lucene 技术,从简单应用到细节使用再到底层原理都有深入讲解。
课程目录
01、课程计划
02、为什么要使用lucene
03、常用查询算法(顺序扫描法)
04、常用查询算法(倒排索引算法)
05、全文检索技术使用场景
06、什么是lucene
07、索引和搜索流程简介
08、lucene索引流程详细分析
09、搜索流程详细分析
10、入门案例(使用的资源介绍)
11、入门案例(开发环境配置)
12、入门案例(项目搭建)
13、入门案例(索引过程)
14、使用luke工具查看索引库内容
15、入门案例(搜索过程)
16、Field域使用
17、索引库维护
18、分词器使用时机
19、原生分词器(StandardAnalyzer)
20、(WhitespaceAnalyzer)
21、(SimpleAnalyzer)
22、(CJKAnalyzer)
23、第三方中文分词器
24、高级查询(文本查询)
25、高级查询(数值查询和组合查询)
26、综合案例(需求分析和准备工作)
27、综合案例(controller层编写)
28、综合案例(Service编写)
29、综合案例(测试)
30、Lucene存储结构(高级)
31、Lucene底层关键字数据结构(跳跃表)
32、Lucene底层关键字数据结构(FST状态机)
33、Lucene优化(解决大量磁盘IO问题)
34、Lucene优化(分词器的选择)
35、Lucene优化(索引库存放位置选择)
36、相关度排序
37、lucene使用的一些注意事项
2、Elasticsearch
课程名称
《ElasticSearch 入门到精通 2021 最新教程(基于 ELK 技术栈 elasticsearch 7.8.x 版本)》
https://www.bilibili.com/video/BV1hh411D7sb
时长
5.5 小时
课程介绍
本套视频教程基于 Elasticsearch 7.8.0 版本,由浅入深讲解 Elasticsearch 的开发应用、核心原理以及与其他经典数据分析引擎 Spark、Flink 的集成方式,带你玩转全文检索!最后会重点讲解 Elasticsearch 的优化和常见面试题。
课程目录
001-开篇
002-技术选型
003-教学大纲
004-入门-环境准备
005-入门-RESTful & JSON
006-入门-Postman客户端工具
007-入门-倒排索引
008-入门-HTTP-索引-创建
009-入门-HTTP-索引-查询 & 删除
010-入门-HTTP-文档-创建(Put & Post)
011-入门-HTTP-查询-主键查询 & 全查询
012-入门-HTTP-全量修改 & 局部修改 & 删除
013-入门-HTTP-条件查询 & 分页查询 & 查询排序
014-入门-HTTP-多条件查询 & 范围查询
015-入门-HTTP-全文检索 & 完全匹配 & 高亮查询
016-入门-HTTP-聚合查询
017-入门-HTTP-映射关系
018-入门-JavaAPI-环境准备
019-入门-JavaAPI-索引-创建
020-入门-JavaAPI-索引-查询 & 删除
021-入门-JavaAPI-文档-新增 & 修改
022-入门-JavaAPI-文档-查询 & 删除
023-入门-JavaAPI-文档-批量新增 & 批量删除
024-入门-JavaAPI-文档-高级查询-全量查询
025-入门-JavaAPI-文档-高级查询-分页查询 & 条件查询 & 字段查询
026-入门-JavaAPI-文档-高级查询-组合查询 & 范围查询
027-入门-JavaAPI-文档-高级查询-模糊查询 & 高亮查询
028-入门-JavaAPI-文档-高级查询-最大值查询 & 分组查询
029 -环境-简介
030-环境-Windows集群部署
031-环境-Linux单节点部署
032-环境-Linux集群部署
033-进阶-核心概念
034-进阶-系统架构-简介
035-进阶-单节点集群
036-进阶-故障转移
037-进阶-水平扩容
038-进阶-应对故障
039-进阶-路由计算 & 分片控制
040-进阶-数据写流程
041-进阶-数据读流程
042-进阶-更新流程 & 批量操作流程
043-进阶-倒排索引
044-进阶-文档搜索
045-进阶-文档刷新 & 文档刷写 & 文档合并
046-进阶-文档分析
047-进阶-文档控制
048-进阶-文档展示-Kibana
049-框架集成-SpringData-整体介绍
05-框架集成-SpringData-代码功能集成
051-框架集成-SpringData-集成测试-索引操作
052-框架集成-SpringData-集成测试-文档操作
053-框架集成-SpringData-集成测试-文档搜索
054-框架集成-SparkStreaming-集成
055-框架集成-Flink-集成
056-优化-硬件选择
057-优化-分片策略
058-优化-路由选择
059-优化-写入速度优化
060-优化-内存设置
061-优化-重要配置
062-面试题
3、Elk stack
课程名称
《Elastic Stack(ELK)从入门到实践》
https://www.bilibili.com/video/BV1iJ411c7Az
时长
6 小时
课程介绍
ElasticStack 是一系列开源产品的合集,包括 Elasticsearch、Kibana、Logstash 以及 Beats 等,能够安全可靠地获取任何来源、任何格式的数据,并且能够实时地对数据进行搜索、分析和可视化。本课程将带你系统的学习 ElasticStack 技术栈,掌握最先进的搜索、数据收集等技术,Elasticsearch 入门,Beats,Kibana,Logstash,综合练习。
课程目录
01.课程介绍
02.Elastic Stack技术栈简介
03.Elasticsearch快速入门之简介
04.Elasticsearch快速入门之版本说明
05.Elasticsearch快速入门之下载以及安装(单机版安装)
06.Elasticsearch快速入门之elasticsearch-head的安装使用
07.Elasticsearch快速入门之基本概念
08.Elasticsearch快速入门之RESTful API(创建、删除索引)
09.Elasticsearch快速入门之RESTful API(插入数据)
10.Elasticsearch快速入门之RESTful API(更新数据)
11.Elasticsearch快速入门之RESTful API(删除、搜索数据)
12.Elasticsearch快速入门之RESTful API(DSL搜索)
13.Elasticsearch快速入门之RESTful API(高亮显示、聚合)
14.Elasticsearch核心讲解之文档
15.Elasticsearch核心讲解之查询响应
16.Elasticsearch核心讲解之判断文档是否存在
17.Elasticsearch核心讲解之批量操作
18.Elasticsearch核心讲解之分页
19.Elasticsearch核心讲解之映射
20.Elasticsearch核心讲解之结构化查询(term、terms查询)
21.Elasticsearch核心讲解之结构化查询(range、exists、match、bool查询)
22.Elasticsearch核心讲解之结构化查询(过滤查询)
23.Elasticsearch之中文分词器(IK分词器)
24.Elasticsearch全文搜索之构造数据以及单词搜索
25.Elasticsearch全文搜索之多词搜索
26.Elasticsearch全文搜索之组合搜索
27.Elasticsearch全文搜索之权重
28.Elasticsearch集群之集群节点
29.Elasticsearch集群之搭建集群
30.Elasticsearch集群之分片和副本
31.Elasticsearch集群之故障转移
32.Elasticsearch集群之分布式文档(路由)
33.Elasticsearch集群之分布式文档(文档的写操作、搜索操作)
34.Elasticsearch集群之分布式文档(全文搜索)
35.Elasticsearch的Java客户端之介绍以及构造数据
36.Elasticsearch的Java客户端之低级客户端的使用
37.Elasticsearch的Java客户端之高级客户端的使用
38.课程总结
01.课程介绍
02.nginx日志分析系统需求分析
03.部署安装Nginx
04.Beats 简介
05.Filebeat入门之架构以及部署
06.Filebeat入门之读取文件
06.Filebeat入门之自定义字段
07.Filebeat入门之输出到Elasticsearch
08.Filebeat入门之工作原理
09.Filebeat入门之读取Nginx日志文件
10.Filebeat入门之Module的使用(nginx module)
11.Metricbeat入门之简介以及组成
12.Metricbeat入门之部署与收集系统指标
13.Metricbeat入门之Module以及NginxModule的使用
14.Kibana入门之部署安装以及数据探索
15.Kibana入门之Metricbeat仪表盘安装以及展现
16.Kibana入门之Nginx 日志仪表盘
17.Kibana入门之自定义图表
18.Kibana入门之开发者工具
19.Logstash入门之简介以及部署安装
20.Logstash入门之配置详解
21.Logstash入门之读取自定义日志以及解析处理
22.综合练习之流程说明
23.综合练习之APP介绍
24.综合练习之部署Filebeat以及Logstash
25.综合练习之Kibana的使用(制作自定义图表和Dashboard)
26.课程总结
4、更多好文
以上是关于3套视频,搞定LuceneEsElk stack的主要内容,如果未能解决你的问题,请参考以下文章
(2022版)一套教程搞定k8s安装到实战 | InitContainer
(2022版)一套教程搞定k8s安装到实战 | DaemonSet