大型运维知识体系v2.0

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大型运维知识体系v2.0相关的知识,希望对你有一定的参考价值。

转载请注明来自-运维社区https://www.unixhot.com/page/ops 

运维知识体系-V2.0 By:2016年12月26日更新
运维架构层级/运维角度内容描述/主要技术关键词监控体系安全体系备份体系自动化体系云计算
客户端层浏览器Cookie、浏览器缓存协商(Last-Modified、Expires、Etag)、组件分离、前端优化(提高浏览器并发数、避免静态资源Cookie上传)、运维检测工具舆论监控(第三方)

外部网络监控

APM
加速乐、牛盾、安全宝、阿里云盾云存储故障检测工具DNS服务
CDN服务

移动服务

    云盾                                                                    

DNS浏览器DNS缓存、DNS缓存、自建DNS服务器、商业DNS产品、智能DNS  [浏览器缓存->本地hosts->本地缓存->DNS服务器(本地缓存、迭代)->根->公网IP地址、HTTP-DNS、机房内部智能DNS]
客户端/APPHTTP-DNS、打点日志、加密传输、移动推送、各类SDK(监控SDK、推流SDK)
外部层第三方CDN智能DNS/GSLB->反向代理缓存(多级)->源站[分布式存储、流量调度、配置管理、用户端](各类API如:带宽监控、预缓存、缓存刷新)监控宝、基调、博睿、听云基于开放API开发
云计算公有云服务、混合云、运维外包服务、APM(应用性能管理)、第三方安全解决方案(防DDOS、WAF)

互联层多机房互联(VPN、专线)、异地灾备-->异地多活-->按SET部署设备监控
(Zabbix SNMP)
SDN高速通道
网络层核心层防火墙、路由器、Ipsec VPN、链路负载均衡和高可用 (CCNP级别)

防火

入侵检测

HSRP、VRRPVPC(专有网络)
汇聚层三层交换 动态路由(OSPF)、静态路由、EC(端口汇聚)、MSTP+VRRP (CCNP级别)网络质量监控
(Smokeping)
OpenvSwitch
(GRE、Vxlan)
接入层二层交换 (VTP、SPF、Trunk、端口安全) CCNA级别
集群层负载均衡高可用四层负载均衡开源:LVS(IP负载均衡)+Keepalived、Haproxy 商业:F5、Netscaler服务监控(API)WAF(nginx+Lua)VRRP平台开发(LBaas)高防IP
云负载均衡SLB
CDN服务
七层负载均衡反向代理:Haproxy、Nginx、Apache(根据HTTP协议支持的属性进行L7分发,例如:User-Agent、URL、HTTP头的分担模式,进行负载分发)、A/B Test Gateway、WAF
应用层反向代理缓存ATS、Squid、Varnish、Nginx(缓存分级、预缓存、缓存刷新)代码安全集群
Web服务层HTTP协议、Web服务器(Apache、Nginx/OpenResty、Tomcat、Resin、Jboss(安全设置、性能优化[GZIP、Web服务器缓存、epoll、sendfile、CPU绑定、自身性能优化])业务监控(API)GitHub扫描配置管理:           SaltStack镜像市场
应用服务层运行环境(php Python Java C C++)、性能优化、缓存(OPCache、LocalCache)、Session存储、代码部署
过载保护-服务降级各种SAAS服务
业务层业务实现API网关、302调度、业务模块化(例:用户、商品、购物车、结算中心、价格等服务)、微服务流量分析(Piwik)接口安全灰度发布-openresty
SOA层SOA框架(Java Dubbo、resteasy)、协议(RPC、RESTful)、ESB、服务注册、服务发现(Etcd、Zookeeper)、框架安全服务监控(提供API)框架安全项目管理-Readmine分布式应用服务
分布式层消息队列ActiveMQ(成熟)、RabbitMQ(成熟、案例多)、RocketMQ(业务应用)、Kafka(日志传输)、ZeroMQ(快)安全监控(WAF)防火墙、权限控制代码仓库-gitlab     持续集成-Jenkins
持续审查-SonarQube
消息队列服务
存储层文件存储单机存储块存储-机械硬盘、SSD、文件系统(ext4、xfs)、LVM、tmpfs系统监控软件自身访问控制Raid配置管理阿里云-块存储      
单机存储扩展文件分发(多级分发)、文件同步(rsync、HASH Tree、inotify、sersync)、DRBD、DAS(块存储)
云硬盘 对象存储
共享存储文件存储-NAS[NFS(Unix/Linux)]、FTP、Samba、SAN、iSCSI、Openfiler、FreeNASrsync
集群存储GFS2、OCFS2 【银行、证券业务】软件自带监控 
分布式存储对象存储-GlusterFS、GFS (google)、HDFS (hadoop)(单个大文件)、TFS (Taobao)、MogileFS(海量小文件)、MooseFS、Swift、Ceph、FastDFS(非对象存储)分布式
DAL数据访问层应用层分片、未开源:淘宝TDDL、开源:360(Atlas)、阿里(Cobar)、MyCat、mysql-Proxy、根据业务定制开发数据库监控
自带DAL数据库服务
数据存储分布式缓存Memcached、Redis(客户端分片、Redis Cluster、Twemproxy、Codis)权限控制集群数据库运维平台云数据库-RDS
Mongodb、Redis
Memcached
OceanBase
NoSQLRedis、LevelDB(SSDB)、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB(支持MySQL协议)
时间序列RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch
RDBMSMySQL(MariaDB、WebScaleSQL、PXC集群、MHA)、Oracle(DG、OGG、RAC)、PostgreSQL、SqlServer、SQLite、DB2
大数据Hadoop生态圈(HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu)、Hadoop+Mahout智能推荐、kafka和Storm实时分析服务监控kerberos、继承其它系统              自定义Ambari、Cloudera Manager大数据服务 MapReduce
基础服务层业务决策灰度发布、服务降级、异地灾备、数据分析平台、智能扩容决策树(需要各层支持)监控工具:
Zabbix
Nagios
Cacti
Open-Falcon    Sensu+InfluxDB+Grafana
自动化工具          Puppet
Chef
SaltStack
Ansible
日志服务
运维相关项目管理(Redmine、Jira、WIKI知识库、Bugzilla、CodeReview)、工单系统、运维操作平台、监控平台操作审计
资源编排
运维监控服务
持续交付系统
应用相关持续集成、日志收集平台(ELKStack)、自动化部署平台、Job管理(调度)平台、安全扫描平台    
系统相关LDAP、内部DNS、DHCP、Mail、SMS、Git(Github、Gitlab)、Svn、Yum仓库、操作审计(xenapp)、堡垒机
PAAS(平台即服务)Docker、CoreOS、Mesos、Kubernetes、容器管理(服务发现、负载均衡)容器监控Mesos+docker+Marathon+Marathon-lb公有云
弹性计算产品
操作系统层IAAS(基础设施即服务)公有云、私有云(OpenStack/cloudstack+KVM/XEN、oVirt)、混合云服务监控配置管理
CPUCPU运行级别、使用率、上下文切换、运行队列、进程调度、系统调用、CPU管理(进程管理、taskset、intel VT-X)mpstat、strace虚拟化
内存虚拟内存、SWAP换入换出、内存寻址、内存管理(Buffer Cache、HugePages、ksmd、EPT)vmstat、free
I/O(磁盘)缺页中断、IOPS(顺序IO、随机IO)、IO管理(IO调度算法、virtio)iostat、iotop
I/O(网络)TCP/IP(三次握手、四次挥手、状态转换、TCP队列)、IO模型、Bonding、Bridge、网络管理(iftop、tcpdump)iftop
内核/Shell内核定制、内存参数优化、脚本编程(AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua)系统监控漏洞修复
环境初始化基础性能优化、监控Agent、SaltStack Minion、DNS、rsyslog、logstash、安全审计防火墙、权限控制集群、热迁移
基础设施层硬件管理硬件选型、配件更换、资产录入(CMDB)、系统安装(Cobbler)、标签化、Raid构建、远程控制(KVM、iDrac、ILO、IMM)、设备上下架机房巡检、物理监控 Zabbix IPMI物理安全、灾备bonding、灾备IPMI、CMDB公有云(AWS、青云、阿里云)           私有云(OpenStack、Cloudstack)
IDC托管需求分析、IDC选型、网络测试、谈价格、签合同、设备采购(原厂vs渠道)、机柜和机位规划第三方评估网络性能防忽悠,尽量按月付费多家IDC对比
测试和开发相关运维协助:性能测试(TCPCopy、日志转换)、单机监控(nmon)、环境规划(开发、测试、预生产、生产)、CI(持续集成)、自动化部署、Job管理平台
运维管理体系运维管理必会:ITSM、ITIL V3、IT Service CMM、Six Sigma、DevOps Master、项目管理(PMBok)、 CISD 、CISP、CISSP、架构层面(知识体系、运维方案、容量规划、灾备规划、服务降级)                                  
运维发展趋势(个人理解)打杂(小公司啥都干)->分层(应用运维、系统运维、基础运维、运维开发等)->场景化(分业务)->自动化(最终大家的目标都是自动化)
运维自动化发展趋势(个人理解)标准化(文档化、流程化)->工具化(流程固化为工具)->Web化(平台化)->服务化(API化)->智能化(自动化)->产品化(服务化,云服务、运维创业)
备注:1.本表格只体现和运维相关的内容。
2.表格没有严格意义上的层级关系,很多时候为了排版!
3.持续更新中,欢迎留言完善
4.广告商勿扰,涉及商业产品只会选取业界知名的厂商
5.运维人员要给自己划好知识边界!(横向|纵向) 转载请注明来自-运维社区https://www.unixhot.com/page/ops


本文出自 “流星工作室” 博客,请务必保留此出处http://redone.blog.51cto.com/5382451/1886280

以上是关于大型运维知识体系v2.0的主要内容,如果未能解决你的问题,请参考以下文章

运维知识体系v0.5

运维知识体系概括

大型网站架构演变和知识体系

Linux运维学习笔记-网络技术知识体系总结

Linux监控知识体系-运维必备

行业资讯网络自动化运维体系