DevOps之平台架构

Posted 2020-10-10 老痞子

唠叨话

关于德语噢屁事的知识点，仅提供精华汇总，具体知识点细节，参考教程网址，如需帮助，请留言。 

 

《工程技术（Engineering and Technology）》
《工作流程（Workflow）》
1、安装部署（操作系统和程序环境）
2、管理配置（物理机或虚拟机）
3、硬件软件（安装与卸载）
4、资源状态（功能与性能）
5、资源调度（编制与编排）

 

DevOps平台架构（Platform Architecture）

《实体化平台（Platform）》
System：系统。
Ware：容器、中间件、应用。
Node：节点（管理、计算、存储、网络）。

《虚拟化平台（Platform）》
新建网络Network
首先创建VxNet私有网络，然后器创建SubNet子网，最后配置IP、开启GW和DHCP、设置DNS、连接Router。

新建主机Instance
选择主机配置；绑定公网IP（是否绑定负载均衡LB），绑定私网IP，绑定安全组；管理认证密钥。

路由器；通讯网关，绑定公网和关联私网的设备；端口转发，通过IP|TCP|UDP协议，配置来源和目标的IP和Port；安全隧道，安全机制的认证和密钥，封装模式的隧道和传输。
网络网关：启用，禁用；绑定主机。
网络端口：名称，类型，子网，IP地址，安全组（规则，协议，目标对象）；绑定主机。
网络隧道：名称，IKE策略、IPSec策略、VPN服务、远端IP、认证密钥、目标网络；绑定主机。

新建磁盘Volume
选择磁盘配置；绑定主机。

《监控结构》
监控体系：监控（Monitoring）、警告（Alerting）、趋势（Trending）。
监控栏目：设备监控、系统监控、网络监控、业务监控、安全监控。
监控面板：BS结构网页，CS结构窗体。
采集方式：Agent（代理端）、Snmp（简单网络管理协议）、IPMI（智能平台管理接口）、JMX（Java管理扩展）、Trapper（捕捉器）。
警告方式：邮件email、短信sms、脚本script、网聊chat。

《监控模块》
机房环境设备
通过IP地址、端口（Snmp）的方式。
UPS/EPS、ATS/STS、供配电、发电机、照明控制器、空调、新风机、水电气仪表、电流电压传感器、温湿度传感器、烟雾传感器、漏水检测仪、防雷器、电话机、视频监控、门禁卡锁、安防消防。

其他定义设备
Ping、Url、Port、Xml。

网络设备
设备地址、端口（Snmp）、用户、密码。
调制解调器、数字用户线路、收发器、转换器、中继器、桥接器、集线器、交换机、路由器、适配器、网关、网闸、网卡、VPN、防火墙、负载均衡器、流量控制。

存储设备
设备地址、端口（Snmp|SMH）、用户、密码。
IBM、EMC、NetApp、HP、Dell、Hitachi日立、DDN、普安Infortrend、宏杉MacroSAN、华为Huawei。

物理机服务器
监控方式：IP地址、端口（Agent|Snmp161|SSH22|Telnet23）、文件密钥；用户、密码；可读共同体名称、可写共同体名称、版本。
Windows：Agent、Snmp、WMI。
Linux：Agent、Snmp、SSH、Telnet。
FreeBSD、Sco.Unix、IBM.AIX、HP.UX、Sun.Solaris：SSH、Telnet、Snmp。

虚拟机服务器
IP地址、端口号、文件密钥、用户、密码。
VMware、Xen、Hyper-V、Parallels、PowerVM、FusionSphere。

业务
中间件：Tomcat、Resin、Jetty、JBoss、GlassFish、WebSphere、WebLogic、MSMQ、Kafka、RabbitMQ、Docker、Rocket。
数据库：SQLServer、Oracle、mysql、Postgresql、DB2、SyBase、MongoDB。
Web应用程序：URL、DNS。
缓存服务器：Memcache、Redis。
代理服务器：Squid、Varnish。
网站服务器：IIS；Apache、nginx、Lighttpd。
邮件服务器：Exchange、EQMail、IBM Domino、Postfix、Dovecot。
流媒体服务器：ffmpeg、Red5、EasyDarwin。
目录服务器：AD（Active Directory）、LDAP（Lightweight Directory Access Protocol）。
文件服务器：FTP。

公共模块
监控对象，地址、端口；监控频率-分钟、请求超时-秒、触发事件次数、通知组。

 

平台架构图

《生态链（Ecological Chain）》
《Google（谷歌）》
Gfs，MapReduce，BigTable，Chubby；Caffeine，Pregel，Dremel；Spanner。
《Alibaba（阿里巴巴）》
Dubbo，FastDFS，Tair。
《Apache Hadoop（海杜普）》
企业服务商：Cloudera，Hortonworks，MapR。

《Apache Hadoop》
结构体系：Common公共模块包，arn资源管理器，Hdfs数据存储系统，MapReduce数据计算框架。
《Apache Hadoop 项目》
Hadoop ZooKeeper，集群管理工具（协调系统）。
Hadoop Oozie，工作流（任务调度）。

Hadoop Ambari，集群管理工具，基于Web的系统部署及配置平台。
Hadoop Whirr，集群管理工具，类库。
    Apache Kafka，消息队列。
    Apache Falcon，数据生命周期。
    Aapche Ranger，安全管理。
    Apache Knox Gateway，安全网关。

Hadoop Hdfs，分布式文件系统
Hadoop HBase，数据列式存储系统。
    Apache Kudu，数据列式存储系统。
Hadoop Cassandra，数据键值存储系统。
    Hadoop Flume，日志收集工具，参照FaceBook Scribe日志收集系统。
    Hadoop Sqoop，数据迁移工具，数据仓库技术。

Hadoop Chukwa，数据采集、存储、分析的监控系统。
Hadoop Avro，数据序列化，数据交换格式。

Hadoop Pig，数据编程语言，脚本式。
Hadoop Hive，数据仓库系统，类似SQL。
    Apache Impala，数据查询系统，类似SQL，参照Google Dremel|Drill项目。
    Apache Crunch，数据计算API接口，常见任务的模式库。
Apache HCatalog，元数据管理服务统一平台。

Hadoop Hue，基于Web-UI界面的数据管理工具。
    Apache Zeppelin，基于网页的数据分析工具。
Apache BigTop，基于项目打包、分发和测试的工具。

Hadoop Yarn，资源管理器
Hadoop Mesos，资源调度管理器。

Hadoop MapReduce，Batch模型计算。
Hadoop Tez，DAG模型计算。
Hadoop Spark，MM模型计算（DAG，流式，迭代式）。
    Apache Spark（Graphx），图计算。
    Apache Spark（Mlib），机器学习。
    Apache Spark（Streaming），流计算。
Hadoop Hama，BSP模型计算。
Apache Giraph，图计算。
Apache Mahout，机器学习算法库。

《OpenStack（虚拟化工具）》
Cloud云：Deploy部署、Configure配置、Manage管理。
部署模式：私有云(Private Cloud)、公有云(Public Cloud)、混合云(Hybrid Cloud)、社区云(Community Cloud)。
服务模式：设施IaaS、平台PaaS、软件SaaS。
技术组件：虚拟化管理程序Hypervisor、虚拟化管理接口、资源交互API、消息列队MQ、分布式存储、容器、网络虚拟化等。

OpenStack初始项目模块
Nova（NASA开发的虚拟服务器部署和业务计算模块），Swift（Rackspace开发的分布式存储模块）。
OpenStack现今项目模块
https://www.openstack.org/software/

《OpenStack》
Compute(Nova)、Network(Neutron)、Object Storage(Swift)、Block Storage(Cinder)
Identity Service(Keystone)、Image Service(Glance)、Telemetry(Ceilometer)
Database Service(Trove)、Orchestration(Heat)、Dashboard(Horizon)

《Compute计算》
Nova虚拟机计算、Ironic裸机计算、Glance镜像、Magnum容器部署、Zun容器管理、Storlets对象存储计算
《Storage存储》
Swift存储、Cinder块存储、Karbor数据安保、Freezer备份恢复、Manila共享文件系统
《Networking网络》
Neutron网络、Designate域名解析、Octavia负载平衡器、Dragonflow网络流、Kuryr网络容器、Tacker网络功能虚拟化、Tricircle多集群网络部署
《Data数据》
Trove数据库管理、Sahara数据分析、Searchlight数据搜索
《Security安全》
Keystone身份认证、Barbican密钥管理、Congress策略管理、Mistral工作流
《Management管理》
Horizon网页界面、Senlin集群、Rally性能测试与分析、Vitrage根源原因分析、Watcher优化、Openstack Client命令行界面
《Deployment部署》
Tripleo容器、Kolla容器部署、Openstack Charms、Openstack Ansible、Chef Openstack、Puppet Openstack
《Application应用》
Heat编排编制、Zaqar消息、Murano目录、Solum生命周期
《Monitoring监控》
Ceilometer计量、Gnocchi时序计量、Aodh预警、Panko事件、Monasca监控、Cloudkitty计费