AIOps核心技术和算法要点

Posted 2021-04-24 远洋号

前言

AIOps已经逐渐兴起，AI算法已较为成熟，使之与运维结合到了一起，下面列出AIOps相关技术和算法要点，有空了再展开写，懂大数据和机器学习的基本都知道各个组件及算法的作用。

异常点检测

• 正态分布异常检测

• 马氏距离异常检测

• KNN异常检测

• 密度异常检测

• 独立森林异常检测

故障分析

• 关联规则相关性分析

• 决策树分析

分类预测

• 贝叶斯

• 神经网络

• 决策树

• knn

• svm

• 提升

聚类

• kmeans

• knn

• 基于层次聚类

• 基于密度聚类

趋势预测

• ARIMA模型建模

• 移动平均法

• 指数平滑法

• 卷积神经网络

• 循环神经网络

客户端采集

• filebeat

• logstash

• scribe

• flume

队列

• zeromq

• activemq

• rocketmq

• kafka

数据存储

• mysql

• hdfs

• redis

• druid

• clickhouse

• elasticsearch

• hbase

时序数据库

• graphite

• rrd tool

• influxdb

• opentsdb

• prometheus

• druid(支持时序)

• elasticsearch(支持时序)

• clickhouse(支持时序)

离线计算

• linux sed awk

• python pandas

• mapreduce hadoop

• hive

实时计算

• spark streaming

• flink

• jstrom

数据同步

• sqoop

• datax

机器学习

• spark mllib

• scikitlearn

• pattern

• TensorFlow

• keras

• pytorch

--------------------------------------

跟我交流：

-------------推荐阅读------------