大型运维知识体系v2.0
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大型运维知识体系v2.0相关的知识，希望对你有一定的参考价值。
转载请注明来自-运维社区https://www.unixhot.com/page/ops
| 运维知识体系-V2.0 By：2016年12月26日更新 | ||||||||
| 运维架构层级/运维角度 | 内容描述/主要技术关键词 | 监控体系 | 安全体系 | 备份体系 | 自动化体系 | 云计算 | ||
| 客户端层 | 浏览器 | Cookie、浏览器缓存协商（Last-Modified、Expires、Etag）、组件分离、前端优化（提高浏览器并发数、避免静态资源Cookie上传）、运维检测工具 | 舆论监控(第三方) 外部网络监控 APM | 加速乐、牛盾、安全宝、阿里云盾 | 云存储 | 故障检测工具 | DNS服务 CDN服务 移动服务 云盾 | |
| DNS | 浏览器DNS缓存、DNS缓存、自建DNS服务器、商业DNS产品、智能DNS [浏览器缓存->本地hosts->本地缓存->DNS服务器（本地缓存、迭代）->根->公网IP地址、HTTP-DNS、机房内部智能DNS] | |||||||
| 客户端/APP | HTTP-DNS、打点日志、加密传输、移动推送、各类SDK（监控SDK、推流SDK） | |||||||
| 外部层 | 第三方CDN | 智能DNS/GSLB->反向代理缓存（多级）->源站[分布式存储、流量调度、配置管理、用户端]（各类API如：带宽监控、预缓存、缓存刷新） | 监控宝、基调、博睿、听云 | 基于开放API开发 | ||||
| 云计算 | 公有云服务、混合云、运维外包服务、APM（应用性能管理）、第三方安全解决方案（防DDOS、WAF） | |||||||
| 互联层 | 多机房互联（VPN、专线）、异地灾备-->异地多活-->按SET部署 | 设备监控 （Zabbix SNMP） | SDN | 高速通道 | ||||
| 网络层 | 核心层 | 防火墙、路由器、Ipsec VPN、链路负载均衡和高可用 （CCNP级别） | 防火墙 入侵检测 | HSRP、VRRP | VPC（专有网络） | |||
| 汇聚层 | 三层交换 动态路由（OSPF）、静态路由、EC（端口汇聚）、MSTP+VRRP （CCNP级别） | 网络质量监控 （Smokeping） | OpenvSwitch （GRE、Vxlan） | |||||
| 接入层 | 二层交换 （VTP、SPF、Trunk、端口安全） CCNA级别 | |||||||
| 集群层 | 负载均衡高可用 | 四层负载均衡 | 开源：LVS（IP负载均衡）+Keepalived、Haproxy 商业：F5、Netscaler | 服务监控（API） | WAF（nginx+Lua） | VRRP | 平台开发（LBaas） | 高防IP 云负载均衡SLB CDN服务 |
| 七层负载均衡 | 反向代理：Haproxy、Nginx、Apache（根据HTTP协议支持的属性进行L7分发，例如：User-Agent、URL、HTTP头的分担模式,进行负载分发）、A/B Test Gateway、WAF | |||||||
| 应用层 | 反向代理缓存 | ATS、Squid、Varnish、Nginx(缓存分级、预缓存、缓存刷新） | 代码安全 | 集群 | ||||
| Web服务层 | HTTP协议、Web服务器（Apache、Nginx/OpenResty、Tomcat、Resin、Jboss（安全设置、性能优化[GZIP、Web服务器缓存、epoll、sendfile、CPU绑定、自身性能优化]) | 业务监控(API) | GitHub扫描 | 配置管理： SaltStack | 镜像市场 | |||
| 应用服务层 | 运行环境（php Python Java C C++）、性能优化、缓存（OPCache、LocalCache）、Session存储、代码部署 | 过载保护-服务降级 | 各种SAAS服务 | |||||
| 业务层 | 业务实现 | API网关、302调度、业务模块化（例：用户、商品、购物车、结算中心、价格等服务）、微服务 | 流量分析(Piwik) | 接口安全 | 灰度发布-openresty | |||
| SOA层 | SOA框架（Java Dubbo、resteasy）、协议（RPC、RESTful）、ESB、服务注册、服务发现（Etcd、Zookeeper）、框架安全 | 服务监控（提供API） | 框架安全 | 项目管理-Readmine | 分布式应用服务 | |||
| 分布式层 | 消息队列 | ActiveMQ（成熟）、RabbitMQ（成熟、案例多）、RocketMQ（业务应用）、Kafka（日志传输）、ZeroMQ（快） | 安全监控(WAF) | 防火墙、权限控制 | 代码仓库-gitlab 持续集成-Jenkins 持续审查-SonarQube | 消息队列服务 | ||
| 存储层 | 文件存储 | 单机存储 | 块存储-机械硬盘、SSD、文件系统（ext4、xfs）、LVM、tmpfs | 系统监控 | 软件自身访问控制 | Raid | 配置管理 | 阿里云-块存储 |
| 单机存储扩展 | 文件分发（多级分发）、文件同步（rsync、HASH Tree、inotify、sersync）、DRBD、DAS（块存储） | 云硬盘 对象存储 | ||||||
| 共享存储 | 文件存储-NAS[NFS（Unix/Linux）]、FTP、Samba、SAN、iSCSI、Openfiler、FreeNAS | rsync | ||||||
| 集群存储 | GFS2、OCFS2 【银行、证券业务】 | 软件自带监控 | ||||||
| 分布式存储 | 对象存储-GlusterFS、GFS (google)、HDFS (hadoop)（单个大文件）、TFS (Taobao)、MogileFS（海量小文件）、MooseFS、Swift、Ceph、FastDFS（非对象存储） | 分布式 | ||||||
| DAL | 数据访问层 | 应用层分片、未开源：淘宝TDDL、开源：360（Atlas）、阿里（Cobar）、MyCat、mysql-Proxy、根据业务定制开发 | 数据库监控 | 自带 | DAL | 数据库服务 | ||
| 数据存储 | 分布式缓存 | Memcached、Redis（客户端分片、Redis Cluster、Twemproxy、Codis） | 权限控制 | 集群 | 数据库运维平台 | 云数据库-RDS Mongodb、Redis Memcached OceanBase | ||
| NoSQL | Redis、LevelDB（SSDB）、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB（支持MySQL协议） | |||||||
| 时间序列 | RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch | |||||||
| RDBMS | MySQL（MariaDB、WebScaleSQL、PXC集群、MHA）、Oracle（DG、OGG、RAC）、PostgreSQL、SqlServer、SQLite、DB2 | |||||||
| 大数据 | Hadoop生态圈（HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu）、Hadoop+Mahout智能推荐、kafka和Storm实时分析 | 服务监控 | kerberos、继承其它系统 | 自定义 | Ambari、Cloudera Manager | 大数据服务 MapReduce | ||
| 基础服务层 | 业务决策 | 灰度发布、服务降级、异地灾备、数据分析平台、智能扩容决策树（需要各层支持） | 监控工具： Zabbix Nagios Cacti Open-Falcon Sensu+InfluxDB+Grafana | 自动化工具 Puppet Chef SaltStack Ansible | 日志服务 | |||
| 运维相关 | 项目管理（Redmine、Jira、WIKI知识库、Bugzilla、CodeReview）、工单系统、运维操作平台、监控平台 | 操作审计 资源编排 运维监控服务 持续交付系统 | ||||||
| 应用相关 | 持续集成、日志收集平台（ELKStack）、自动化部署平台、Job管理（调度）平台、安全扫描平台 | |||||||
| 系统相关 | LDAP、内部DNS、DHCP、Mail、SMS、Git（Github、Gitlab）、Svn、Yum仓库、操作审计（xenapp）、堡垒机 | |||||||
| PAAS（平台即服务） | Docker、CoreOS、Mesos、Kubernetes、容器管理（服务发现、负载均衡） | 容器监控 | Mesos+docker+Marathon+Marathon-lb | 公有云 弹性计算产品 | ||||
| 操作系统层 | IAAS(基础设施即服务) | 公有云、私有云（OpenStack/cloudstack+KVM/XEN、oVirt）、混合云 | 服务监控 | 配置管理 | ||||
| CPU | CPU运行级别、使用率、上下文切换、运行队列、进程调度、系统调用、CPU管理（进程管理、taskset、intel VT-X） | mpstat、strace | 虚拟化 | |||||
| 内存 | 虚拟内存、SWAP换入换出、内存寻址、内存管理（Buffer Cache、HugePages、ksmd、EPT） | vmstat、free | ||||||
| I/O（磁盘） | 缺页中断、IOPS（顺序IO、随机IO）、IO管理（IO调度算法、virtio） | iostat、iotop | ||||||
| I/O（网络） | TCP/IP（三次握手、四次挥手、状态转换、TCP队列）、IO模型、Bonding、Bridge、网络管理（iftop、tcpdump） | iftop | ||||||
| 内核/Shell | 内核定制、内存参数优化、脚本编程（AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua） | 系统监控 | 漏洞修复 | |||||
| 环境初始化 | 基础性能优化、监控Agent、SaltStack Minion、DNS、rsyslog、logstash、安全审计 | 防火墙、权限控制 | 集群、热迁移 | |||||
| 基础设施层 | 硬件管理 | 硬件选型、配件更换、资产录入（CMDB）、系统安装（Cobbler）、标签化、Raid构建、远程控制（KVM、iDrac、ILO、IMM）、设备上下架 | 机房巡检、物理监控 Zabbix IPMI | 物理安全、灾备 | bonding、灾备 | IPMI、CMDB | 公有云（AWS、青云、阿里云） 私有云（OpenStack、Cloudstack） | |
| IDC托管 | 需求分析、IDC选型、网络测试、谈价格、签合同、设备采购（原厂vs渠道）、机柜和机位规划 | 第三方评估网络性能 | 防忽悠，尽量按月付费 | 多家IDC对比 | ||||
| 测试和开发相关 | 运维协助：性能测试（TCPCopy、日志转换）、单机监控（nmon）、环境规划（开发、测试、预生产、生产）、CI（持续集成）、自动化部署、Job管理平台 | |||||||
| 运维管理体系 | 运维管理必会：ITSM、ITIL V3、IT Service CMM、Six Sigma、DevOps Master、项目管理（PMBok）、 CISD 、CISP、CISSP、架构层面（知识体系、运维方案、容量规划、灾备规划、服务降级） | |||||||
| 运维发展趋势（个人理解） | 打杂（小公司啥都干）->分层（应用运维、系统运维、基础运维、运维开发等）->场景化（分业务）->自动化（最终大家的目标都是自动化） | |||||||
| 运维自动化发展趋势（个人理解） | 标准化（文档化、流程化）->工具化（流程固化为工具）->Web化（平台化）->服务化（API化）->智能化（自动化）->产品化（服务化，云服务、运维创业） | |||||||
| 备注： | 1.本表格只体现和运维相关的内容。 2.表格没有严格意义上的层级关系，很多时候为了排版! 3.持续更新中，欢迎留言完善 4.广告商勿扰，涉及商业产品只会选取业界知名的厂商 5.运维人员要给自己划好知识边界！（横向|纵向） 转载请注明来自-运维社区https://www.unixhot.com/page/ops | |||||||
本文出自 “流星工作室” 博客，请务必保留此出处http://redone.blog.51cto.com/5382451/1886280
以上是关于大型运维知识体系v2.0的主要内容，如果未能解决你的问题，请参考以下文章