分布式计算学习笔记(期末复习)
Posted ZSYL
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式计算学习笔记(期末复习)相关的知识,希望对你有一定的参考价值。
【分布式计算】期末复习笔记
- 1. 云计算的基本概念、特性和基本交付模式;
- 2. 云安全与一般的计算机网络安全、信息安全的区别,保障云计算安全的手段(技术),威胁作用者和云安全威胁,云安全的实现方式;
- 3. 能被虚拟化的 IT 资源包括哪些?几种主机虚拟化技术中,性能最高的是?操作系统级虚拟化的主要优点?内存虚拟化技术有哪些?如何实现存储虚拟化?网络虚拟化的主要目标、内容和实现方式;
- 4. 云储存设备机制提供的常见的数据存储逻辑单元;
- 5. 多租户技术的基础和主要目标,需要满足的要求和实现形式;
- 6. 云计算环境的呈现技术针对的交付模式,私有云是否需要呈现技术?
- 7. 云计算环境下的攻击类型?虚拟化攻击是指?利用物理机的漏洞攻击和利用利用虚拟机作为客户机发动拒绝服务攻击分别对应什么攻击类型?
- 8. 云平台中的信任边界重叠的问题;
- 9. 云安全属性:保密性、完整性、真实性和可用性;
- 10. 威胁作用者的定义,匿名攻击者带来的危害,授信攻击者;
- 11. 云使用监控实现形式,监控代理、轮询代理和资源代理等云使用监控代理。
- 12. 自动伸缩机制的判定条件以及其通常的部署位置;
- 13. 按使用付费监控器的监控内容、实现形式、通常部署位置;
- 14. 故障转移系统的主要功能和作用;
- 15. 负载均衡架构的作用,可扩展性、可用性、可靠性和安全性;
- 16. IPS(IaaS、PaaS、SaaS)三种服务之间的关系;
- 17. 层次资源池架构中资源池的关系;
- 18. 动态可扩展架构中的动态可扩展类型,动态水平扩展、动态垂直扩展以及动态重定位;
- 19. 直接 I/O 访问架构使用到的相关代理包括?
- 20. 云计算的商业成本指标
- 21. 云服务 QoS 的指标;
- 22. 云计算的部署模型,各有什么特点和应用场景?能是什么?
- 23. 云服务拥有者、云服务用户、云资源管理者的基本概念、以及相互的关系;
- 24. 不同层次、粒度的负载均衡机制的作用及特性;
- 25. NoSQL 数据库的特点及其与传统的关系数据库之间的关系;
- 26. VIM 的基本功能及其在自动伸缩、虚拟机迁移、负载均衡等架构中的作用;
- 27. 针对虚拟机失效场景的虚拟机迁移机制,给出主要操作;
- 28. SaaS 服务的云应用程序可用的自动伸缩机制,描述该机制的主要构成部分和各自功能;
- 29. GFS 中 MapReduce 程序是如何实现的?
- Reference
- Ending
1. 云计算的基本概念、特性和基本交付模式;
1.1 基本概念
定义:云计算是以服务的形式,按需向用户提供计算资源的一种模式。它是分布式计算的一种特殊形式,引入了效用模型来远程供给可扩展和可测量的资源。
-
云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。
-
云其实是网络、互联网的一种比喻说法。
-
云计算的核心思想,是将大量用网络连接的计算资源统一管理和调度,构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。
云计算就是将计算机的各种服务通过网络提供给用户使用。这种服务可以是IT和软件、互联网相关的服务,也可以是其他的服务。
1.2 特性
- 按需使用:基于服务的特性和使用驱动的特性
- 随处访问:需要支持一组设备、传输协议、接口和安全技术
- 多租户(和资源池):多个云用户共享软件和实例。
- 弹性:与降低投资和与使用比例的成本这些好处紧密地联系在一起。
- 可测量的使用:云平台对云用户的IT资源使用情况的记录能力。
- 可恢复性:是一种故障转移的形式,在多个物理位置分放IT资源的冗余实现。
- 资源池弹性可扩张
- 按需提供资源服务
- 虚拟化
- 网络化的资源接入
- 高可靠性和安全性。
- 集合了大量计算机,规模达到成千上万
- 多种软硬技术相结合
- 对客户端的设备要求低
- 规模化效应
1.3 交付模型
- 基础设施即服务(IaaS)
- 平台即服务(PaaS)
- 软件即服务(SaaS)
2. 云安全与一般的计算机网络安全、信息安全的区别,保障云计算安全的手段(技术),威胁作用者和云安全威胁,云安全的实现方式;
2.1 云安全与一般的计算机网络安全、信息安全的区别
2.2 保障云计算安全的手段(技术)
2.3 威胁作用者和云安全威胁
威胁作用者:匿名攻击者、恶意服务作用者、授信的攻击者、恶意的内部人员
威胁作用者( threat agent)是引发威胁的实体,因为它能够实施攻击。云安全威胁可能来自内部也可以来自外部,可能来自于人也可能来自于软件程序。
- 匿名攻击者( anonymous attacker )是云中没有权限的、不被信任的云服务用户。
它通常是一个外部软件程序,通过公网发动网络攻击。当匿名攻击者对安全策略和防护所知有限时,这会抑制他们形成有效攻击的能力。因此,匿名攻击者往往诉诸绕过用户账号或窃取用户证书的手段,同时使用能确保匿名性或需要大量资源才能被检举的方法。
- 授信的攻击者(trusted attacker)与同一云环境中的云用户共享IT资源,试图利用合法的证书来把云提供者以及与他们共享IT资源的云租户作为攻击目标。
不同于匿名攻击者(他们是非授信的),授信的攻击者通常通过滥用合法的证书或通过挪用敏感和保密的信息,在云的信任边界内部发动攻击。
- 恶意的内部人员(malicious insider)是人为的威胁作用者,他们的行为代表云提供者或者与之有关。
他们通常是现任或前任雇员,或是能够访问云提供者资源范围的第三方。这种类型的威胁
- 恶意服务作用者(Malicious Service Agent):能截取并转发云内的网络流量。
6种云安全威胁:
- 流量窃听(Traffic Eavesdropping):当数据在传输到云中或在云内部传输时被恶意的服务作用者被动地截获,用于非法的信息收集的目的。这种攻击的目的就是直接破坏数据的保密性,可能也破坏了云用户和云提供者之间关系的保密性。
- 恶意媒介(Malicious Intermediary)威胁:消息被恶意服务作用者截获并且篡改,因此可能会破坏消息的保密性和完整性。它还可能在把消息转发到目的地之前注入有害的数据。
- 拒绝服务(Denial of Service)攻击:目标是使IT资源过载至无法正确运行。成功的 DoS 攻击使得服务器性能恶化或失效。DoS通常是以下方式之一发起的:
- 云服务上的负载由于伪造的消息或重复的通信请求不正常地增加。
- 网络流量过载,降低了响应性,性能下降。
- 发出多个云服务请求,每个请求都设计成消耗过量的内存和处理资源。
- 授权不足(Insufficient Authorization)攻击:错误地授予了攻击者访问权限或是授权太宽泛,导致攻击者能够访问到本应该受保护的IT资源。授权不足的结果通常是攻击者获得了对某些 IT 资源的直接访问的权利,这些IT资源实现的时候是假设只能是授信的用户程序才能访问的。
- 虚拟化攻击(Virtualization Attack):利用虚拟化平台中的漏洞来危害虚拟化平台的攻击类型。云提供者给予用户的虚拟化IT资源的管理权限,用户滥用权限攻击底层的物理资源。目的是危害虚拟化平台的保密性、完整性和可用性。
- 信任边界重叠(Overlapping Trust Boundaries):如果云中的物理IT资源是由不同的云服务用户共享的,那么这些云服务用户的信任边界是重叠的。信任边界重叠使得恶意用户可以通过威胁共享资源实现对其他用户的攻击。
2.4 云安全的实现方式
- 加密
默认情况下,数据按照一种可读的格式进行编码,这种格式称为明文(plaintext)。当明文在网络上传输时,容易遭受未被授权的和潜在的恶意的访问。加密(encryption)机制是一种数字编码系统,专门用来保护数据的保密性和完整性。它用来把明文数据编码成为受保护的、不可读的格式。
- 对称加密
对称加密在加密和解密时使用的是相同的密钥,这两个过程都是由授权的各方用共享的密钥执行的。对于密钥式密码技术( secret key cryptography),以一个特定的密钥加密的消息只能用相同的密钥解密。
- 非对称加密
非对称加密依赖于使用两个不同的密钥,称为私钥和公钥。在非对称加密(也被称为公钥密码技术( public key cryptography)中,只有所有者才知道私钥,而公钥一般来说是可得的。
- 哈希
哈希技术可以用来获得消息的哈希代码或消息摘要(message digest),通常是固定的长度,小于原始的消息大小。于是,消息发送者可以用哈希机制把消息摘要附加到消息后面。接收者对收到的消息使用同样的哈希函数,验证生成的消息摘要和与消息一同收到的消息摘要是否一致。任何对原始数据的修改都会导致完全不同的消息摘要,而消息摘要不同就明确表明发生了篡改。
- 数字签名
数字签名( digital signature)机制是一种通过身份验证和不可否认性来提供数据真实性和完整性的手段。在发送之前,赋予消息一个数字签名,如果之后消息发生了未被授权的修改,那么这个数字签名就会变得非法。数字签名提供了一种证据,证明收到的消息与合法的发送者创建的那个消息是否是一样的。
- 公钥基础设施
管理非对称密钥颁发的常用方法是基于公钥基础设施(Public Key Infrastructure,PKI)机制的,它是一个由协议、数据格式、规则和实施组成的系统,使得大规模的系统能够安全地使用公钥密码技术。
- 身份与访问管理
身份与访问管理( Identity and Access Management,IAM)机制包括控制和追踪用户身份以及IT资源、环境、系统访问特权的必要组件和策略。
- 单一登录
单一登录(Single Sign-On,SSO)机制使得一个云服务用户能够被一个安全代理认证,这个安全代理建立起一个安全上下文,当云服务用户访问其他云服务或者基于云的IT资源时,这个上下文会被持久化。否则,云服务用户要在后续的每个请求都重新认证它自己。
- 基于云的安全组
(1)基于云的资源分割,网络被分成逻辑的基于云的安全组,形成逻辑网络边界。
(2)云资源分割为不同用户和组创建各自的物理和虚拟IT环境的过程。云资源分割是虚拟化的基础。
(3)对抗拒绝服务、授权不足和信任边界重叠。
- 强化的虚拟服务器映像
(1)强化(Hardening):把不必要的软件从系统中剥离出来,限制可能被攻击者利用的潜在漏洞的过程。包括去除冗余的程序,关闭不必要的服务器端口,关闭不使用的服务,内部root用户和guest访问等。
(2)对抗拒绝服务、授权不足和信任边界重叠。
3. 能被虚拟化的 IT 资源包括哪些?几种主机虚拟化技术中,性能最高的是?操作系统级虚拟化的主要优点?内存虚拟化技术有哪些?如何实现存储虚拟化?网络虚拟化的主要目标、内容和实现方式;
3.1 能被虚拟化的 IT 资源包括哪些?
- 服务器( server )——一个物理服务器可以抽象为一个虚拟服务器。
- 存储设备(storage)——一个物理存储设备可以抽象为一个虚拟存储设备或一个虚拟磁盘。
- 网络(network)——物理路由器和交换机可以抽象为逻辑网络,如VLAN.
- 电源( power ) ——一个物理UPS和电源分配单元可以抽象为通常意义上的虚拟UPS.
几种主机虚拟化技术中,性能最高的是?半虚拟化
操作系统级虚拟化的主要优点:执行效率高
3.2 内存虚拟化
目标:做好虚拟机内存空间之间的隔离,使每个虚拟机都认为自己拥有了整个内存地址,并且效率也能接近物理机。
- 全虚拟化:影子页表 (Shadow Page Table)
- 半虚拟化:页表写入法
- 硬件辅助虚拟化:扩展页表 EPT(Extended Page Table)
3.3 存储虚拟化
- 存储设备层虚拟化:不同类型的物理磁盘实现统一的寻址。
- 块聚合层虚拟化:整合不同的物理存储设备。基本策略是先将多个物理存储器虚聚合成一个单一的虚拟存储器,提高容量、可靠性等;再将虚拟存储器划分成多个小存储器分配给用户。块聚合层虚拟化可分为带内虚拟化(In-band)和带外虚拟化(Out-of-band)。
- 文件/记录层虚拟化:整合不同的文件系统,是上层用户能够透明、高效地访问存储在远程的文件。
3.4 网络设备虚拟化
(1)适应云计算环境的需求:增加容量、应对横向流量、大缓存底延迟等。
(2)技术要点:网络交换设备层面实施虚拟化。
(3)2种形式:
- 横向整合:多个变一个
- 纵向分割:VLAN等
4. 云储存设备机制提供的常见的数据存储逻辑单元;
- 文件( file)——数据集合分组存放于文件夹中的文件里。
- 块( block)——存储的最低等级,最接近硬件,数据块是可被独立访问的最小数据单位。
- 数据集(dataset)——基于表格的、以分隔符分隔的或以记录形式组织的数据集合。
- 对象(object)——将数据及其相关的元数据组织为基于Web的资源。
5. 多租户技术的基础和主要目标,需要满足的要求和实现形式;
5.1 多租户技术的基础和主要目标
设计多租户应用的目的是使得多个用户(租户)在逻辑上同时访问同一个应用。每个租户对其使用、管理和定制的应用程序都有自己的视图,是该软件的一个专有实例。同时,每个租户都不会意识到还有其他租户正在使用该应用。
基本思想:多用户的环境下共用相同的系统或者程序组件,并且确保各个用户数据和操作的隔离性。
- 使用隔离(usage isolation) :一个租户的使用行为不会影响到该应用对其他租户的可用性和性能。
- 数据安全(data security) :租户不能访问其他租户的数据。
- 可恢复性(recovery) :每个租户的数据备份和恢复过程都是分别执行的。
- 应用升级(application upgrade):共享软件构件的同步升级不会对租户造成负面影响。
- 可扩展性(scalability)︰根据现有租户增长的使用需求或租户数量的增加来扩展应用。
- 使用计费(metered usage)∶根据租户实际使用的应用处理和功能来收费。
- 数据层隔离(data tier isolation):租户拥有独立的且与其他租户隔离的数据库、表格和模式。
多租户:多租户是指不同的用户(租户)可以共享应用软件, 这些应用部署在云端,租户之间是相互隔离的。
- 通过多租户, 云服务供应商可以通过相同的应用程序为不同的用户提供服务。
- 多租户可以减少软件版本,降低软件开发、维护成本。
多租户技术:多个用户(租户)在逻辑上同时访问同一个应用。
6. 云计算环境的呈现技术针对的交付模式,私有云是否需要呈现技术?
- 平台即服务(PaaS)/ 不需要
7. 云计算环境下的攻击类型?虚拟化攻击是指?利用物理机的漏洞攻击和利用利用虚拟机作为客户机发动拒绝服务攻击分别对应什么攻击类型?
- 流量窃听
- 恶意媒介
- 拒绝服务
- 授权不足
- 虚拟化攻击
- 信任边界重叠
- 利用物理机的漏洞攻击:虚拟化攻击
- 利用虚拟机作为客户机发动拒绝服务攻击:拒绝服务
8. 云平台中的信任边界重叠的问题;
如果云中的物理IT资源是由不同的云服务用户共享的,那么这些云服务用户的信任边界是重叠的。恶意的云服务用户可以把目标设定为共享的IT资源,意图损害其他共享同样信任边界的云服务用户或IT资源。结果是某些或者所有其他的云服务用户都受到攻击的影响,或者攻击者可能使用虚拟IT资源来攻击其他共享同样信任边界的用户。
信任边界重叠,威胁到了可用性的云安全特性
9. 云安全属性:保密性、完整性、真实性和可用性;
保密性、完整性、真实性和可用性
- 保密性( confidentiality)是指事物只有被授权方才能访问的特性。在云环境中,保密性主要是关于对传输和存储的数据进行访问限制的。
- 完整性( integrity)是指未被未授权方篡改的特性。关系到云中数据完整性的一个重要问题是能否向云用户保证传送到云服务的数据与云服务接收到的数据完全一致。完整性可以扩展至云服务和基于云的IT资源如何存储、处理和检索数据。
- 真实性( authenticity)是指事物是由经过授权的源提供的这一特性。这个概念包括不可否认性,也就是一方不能否认或质疑一次交互的真实性。
不可否认的交互中的真实性提供了一种证明,证明这些交互是否是唯一链接到一个经过授权的源的。例如,在收到一个不可否认的文件后,如果不产生一条对此访问的记录,那么用户就不能访问该文件。
- 可用性( availability)是在特定的时间段内可以访问和可以使用的特性。
在典型的云环境中,云服务的可用性可能是云提供者和云运营商共同的责任。当基于云的解决方案扩展到云服务用户时,可用性也会是云用户的责任。
10. 威胁作用者的定义,匿名攻击者带来的危害,授信攻击者;
-
威胁作用者( threat agent)是引发威胁的实体,因为它能够实施攻击。云安全威胁可能来自内部也可以来自外部,可能来自于人也可能来自于软件程序。
-
匿名攻击者( anonymous attacker )是云中没有权限的、不被信任的云服务用户。它通常是一个外部软件程序,通过公网发动网络攻击。当匿名攻击者对安全策略和防护所知有限时,这会抑制他们形成有效攻击的能力。
危害:匿名攻击者往往诉诸绕过用户账号或窃取用户证书的手段,同时使用能确保匿名性或需要大量资源才能被检举的方法。
- 授信的攻击者(又称为恶意的租户( malicious tenant)能够使用基于云的IT资源做很多非法之用,包括非法入侵认证薄弱的进程、破解加密、往电子邮件账号发垃圾邮件,或者发起常见的攻击,例如拒绝服务攻击。
- 恶意的内部人员(Malicious Insider):人为的威胁作用者,他们的行为代表云提供者或者与之有关。
重点记忆!
11. 云使用监控实现形式,监控代理、轮询代理和资源代理等云使用监控代理。
(1)云使用监控机制是一种轻量级的自治软件程序,用于收集和处理IT资源的使用数据。
(2)使用数据发送到日志数据库,以便进行后续处理和报告。
(3)3种常见的基于代理的实现形式:
- 监控代理( monitoring agent)是一个中间的事件驱动程序,它作为服务代理驻留在已有通信路径上,对数据流进行透明的监控和分析。(e.g. 网络流量和信息指标)
- 云服务用户向云服务发送请求消息(1)
- 监控代理拦截此消息,收集相关使用数据(2)
- 然后将其继续发往云服务(3a)。监控代理将收集到的使用数据存入日志数据库(3b)。
- 云服务产生应答消息(4)
- 并将其发送回云服务用户,此时监控代理不会进行拦截(5)。
- 资源代理( resource agent)是一种处理模块,通过与专门的资源软件进行事件驱动的交互来收集使用数据。它在资源软件级上,监控预定义的且可观测事件的使用指标。(e.g. 启动、暂停、恢复和垂直扩展)
- 资源代理主动监控虚拟服务器,并检测到使用的增加(1)。
- 资源代理从底层资源管理程序收到通知,虚拟服务器正在进行扩展,按照其监控指标,资源代理将收集的使用数据存入日志数据库(2)。
- 轮询代理( polling agent)是一种处理模块,通过轮询IT资源来周期性地监控IT资源状态。(e.g. 正常运行时间与停机时间)
轮询代理监控虚拟服务器上的云服务状态,它周期性地发送轮询消息,并在数个轮询周期后接收到使用状态为“A”的轮询响应消息。当代理接收到使用状态为“B”时(1),轮询代理就将新的使用状态记录到日志数据库中(2)。
12. 自动伸缩机制的判定条件以及其通常的部署位置;
自动伸缩判定条件:负载量,具体大致是两种
- 云用户产生的请求量;
- 某种类型的请求引发的后端处理需求量
- 通常的部署位置:部署在云中,通常靠近防火墙
1.自动伸缩监听器机制
(1)是一个服务代理,监控和追踪云服务用户和云服务之间的通讯,用以动态自动伸缩。
(2)自动伸缩监听器通常部署在靠近防火墙的位置,来自动追踪负载状态信息。
2. 自动伸缩的判定条件:负载量,具体大致是两种:
(1)云用户发送的请求的数量
(2)某种类型的请求引发的后端处理需求量(虚拟机节点的资源占用率)
3.部署位置:通常部署在靠近防火墙的位置,来自动追踪负载状态信息
4. 自动伸缩的机制应对:
(1)根据云用户事先定义的参数,自动伸缩IT资源(auto-scaling);
(2)当负载超过当前阈值或低于已分配资源时,自动通知云用户(auto-notification)。
三个云用户视图同时访问一个云服务(1)。自动伸缩监听器扩展启动创建该服务的三个冗余实例。第四个云服务用户试图使用该云服务(3)。预先设定只允许云服务有三个实例,自动伸缩监听器拒绝了第四个请求,并通知云用户超出了请求负载限度(4)。云服务的云资源管理员访问远程管理环境,调整供给设置并增加冗余的实例限制。
13. 按使用付费监控器的监控内容、实现形式、通常部署位置;
按使用付费监控器:按使用付费监控器(pay-per- use monitor)按照预先定义好的定价参数测量云资源使用,并生成使用日志用于计算费用. 使用数据由计费管理系统( billing management system)进行处理。
- 监控内容:请求/响应消息数量、传送的数据量、带宽消耗、服务实例的状态
2. 按使用付费监控器的实现方式: 监控代理、资源代理
(1)监控代理:通过在整个服务端的入口监控用户的请求来间接地判断用户使用云服务的情况。
- 优点: 只需在云集群的入口部署, 使用维护方便。
- 缺点: 因为不是直接对实际情况检测,所以监测的值可能不够准确。
云服务用户向云服务发送请求消息(1)。
按使用付费监控器截获该消息(2),
将它转发给云服务(3a),
按照监控指标把使用信息存储起来(3b)
云服务将响应消息转发回云服务用户,提供所请求的服务(4)。
(2)资源代理:需要在部署在各个资源前,实时地轮询每一个资源的使用情况。
- 优点: 针对每一种资源进行实时的监测, 能够及时正确的反映资源的使用情况。
- 缺点: 因为需要对每一个资源进行监测, 所以需要的监控代理数量会比较多, 维护麻烦。
部署位置:云集群的入口部署
14. 故障转移系统的主要功能和作用;
故障转移系统( failover system)机制通过使用现有的集群技术提供冗余的实现来增加IT资源的可靠性和可用性。故障转移系统会被配置成只要当前活跃的IT资源变得不可用时,便自动切换到冗余的或待机IT资源实例上。
故障转移系统通常用于关键任务程序和可重用的服务,这些程序和服务可能成为多个应用程序的单一失效点。故障转移系统可以跨越多个地理区域,这样每个地点都能有一个或多个同样IT资源的冗余实现。
故障转移系统有时会利用资源复制机制提供冗余的IT资源实例,主动监控这些资源实例以探测错误和不可用的情况。
- 故障转移系统机制
(1)通过使用现有的集群技术提供冗余的实现来增加IT资源的可靠性和可用性。
(2)只要当前活跃的IT资源变得不可用时,便会自动切换到冗余的或待机IT资源实例上。 - 故障转移系统的2种基本配置
(1)主动-主动:IT资源的冗余实现会主动地同步服务工作负载,在活跃的实例之间需要进行负载均衡。当发现故障时,会把失效的实例从负载均衡调度器中移除,仍然保持可运行的IT资源会接管处理工作。
(2)主动-被动:当发现故障时,待机或非活跃的实现会被激活,从变得不可用的IT资源处接管处理工作,相应的工作负载会被重定向到接管操作的这个实例上。
15. 负载均衡架构的作用,可扩展性、可用性、可靠性和安全性;
负载均衡的作用:实时图形化统计分析:记录所有网络封包的进出流量信息,可用做网络使用监控及统计记录;提供事件警报及日志记录管理功能,使得负载均衡弹性计算机制可动态响应业务量的变化,实时、自动的保障客户以最佳的资源配置方案应对。
- 可用性:将停止服务时间降低到最低甚至是不间断服务
- 可扩展性:随着访问的增加,系统具备良好的伸缩能力
- 可靠性:经过优化的体系结构及合理的备份策略
- 安全性:结构上的安全及主机的安全策略
16. IPS(IaaS、PaaS、SaaS)三种服务之间的关系;
- laaS云交付模型向云用户提供对基于“原始的”基础设施的IT资源的高等级管理控制。
- PaaS云交付模型使得云提供者可以提供预先配置好的环境,云用户可以使用这个环境来构建和部署云服务和解决方案,不过管理控制权有所下降。
- SaaS是共享云服务的交付模型,这些共享云服务可以是云承载的商业产品。
- laaS、PaaS和SaaS可以有不同的组合,取决于云用户和云提供者如何选择利用三种基本的云交付模型建立起的自然的层次结构。
17. 层次资源池架构中资源池的关系;
资源池架构(resource pooling architecture)以使用一个或多个资源池为基础,其中相同的IT资源由一个系统进行分组和维护,以自动确保它们保持同步。
- 父子资源池(Parent pools)可以将单个池集合为一个更大的池,在这个更大的资源池中,每个单独的池称为子资源池。
- 同级资源池(Sibling pools)之间是互相隔离的,云用户只能访问各自的资源池。(大资源池分解得到的IT资源与原资源池不同)
- 嵌套资源池(Nested pools)可以用于向同一个云用户组织的不同部门或者不同组分配资源池。(IT资源相同,只是数量上有差异)
18. 动态可扩展架构中的动态可扩展类型,动态水平扩展、动态垂直扩展以及动态重定位;
- 动态水平扩展(Dynamic Horizontal Scaling)——向内或向外扩展IT资源实例,以便处理工作负载的变化。按照需求和权限,自动扩展监听器请求资源复制,并发信号启动IT资源复制。
- 动态垂直扩展(Dynamic Vertical Scaling)——当需要调整单个IT资源的处理容量时,向上或向下扩展IT资源实例。比如,当一个虚拟服务器超负荷时,可以动态增加其内存容量,或者增加一个处理内核。
- 动态重定位( Dynamic Relocation)——将IT资源重放置到更大容量的主机上。比如,将一个数据库从一个基于磁带的SAN存储设备迁移到另一个基于磁盘的SAN存储设备,前者的IO容量为4GB/s,后者的1O容量为8GB/s。
19. 直接 I/O 访问架构使用到的相关代理包括?
通过基于虚拟机监控器的处理层向托管的虚拟服务器提供对安装在物理服务器上的物理IO卡的访问,被称为IO虚拟化。
- 虚拟服务器
- 虚拟监控器
- 云使用监控器
- 逻辑网络监控器
- 按使用付费监控器
- 资源复制
20. 云计算的商业成本指标
- 前期成本(up-front cost)是指企业为了构建所要使用的IT资源需要投入的初始资金。它包括获得IT资源的成本和部署及管理这些资源的开销。
- 购买和部署企业内部IT资源的前期成本往往比较高。其中包括了硬件、软件和部署它们所需要的人力开销。
- 租赁基于云的IT资源的前期成本往往比较低。其中包括了评估与建立一个云环境所需的人力成本。
- 持续成本( on-going cost)表示的是一个企业运行和保持其所用IT资源的开销。
- 运营企业内部IT资源的持续成本是变化的。其中包括了执照费用、电费、保险费和人力开销。
- 运营基于云的IT资源的持续成本也是变化的,而且一般会超过运营企业内部IT资源的持续成本(尤其是当持续时间较长时)。其中包括了租赁虚拟硬件的费用、宽带使用费用、执照费用和人力开销。
- 附加成本
- 资本成本
- 已支付成本
- 集成成本
- 锁定成本
21. 云服务 QoS 的指标;
- 可用性:运行时间,故障时间,服务持续时间
- 可靠性:故障间最小时间间隔,保证的成功响应率
- 性能:容量,响应时间和交付时间保证
- 可拓展:容量波动和响应性保证
- 弹性:切换和恢复的平均时间
网络带宽和延迟是影响QoS(服务质量)的因素,而网络拥塞对其有巨大影响。
22. 云计算的部署模型,各有什么特点和应用场景?能是什么?
- 公有云( public cloud)是由第三方云提供者拥有的可公共访问的云环境。
公有云里的IT资源通常是按照事先描述好的云交付模型提供的,而且一般是需要付费才能提供给云用户的,或者是通过其他途径商业化的(例如广告)。
-
社区云类似于公有云,只是它的访问被限制为特定的云用户社区。社区云可以是社区成员或提供具有访问限制的公有云的第三方云提供者共同拥有的。社区的云用户成员通常会共同承担定义和发展社区云的责任。
-
私有云是由一家组织单独拥有的。私有云使得组织把云计算技术当做一种手段,可以集中访问不同部分、位置或部门的IT资源。
-
混合云是由两个或者更多不同云部署模型组成的云环境。例如,云用户可能会选择把处理敏感数据的云服务部署到私有云上,而将其他不那么敏感的云服务部署到公有云上。这种组合就得到了混合部署模型。
- 公有云是第三方所有的,通常向云用户组织提供商业化的云服务和IT资源。
- 私有云是仅被一家组织所拥有的,并且位于该组织的范围之内。
- 社区云一般只能被一组共享拥有权和责任的云用户访问。
- 混合云是两种或多种云部署模型的组合。
23. 云服务拥有者、云服务用户、云资源管理者的基本概念、以及相互的关系;
在法律上拥有云服务的个人或者组织称为云服务拥有者( cloud service owner)。云服务拥有者可以是云用户,或者是拥有该云服务所在的云的云提供者。
云用户( cloud consumer)是组织机构(或者人),他们与云提供者签订正式的合同或者约定来使用云提供者提供的可用的IT资源。具体来说,云用户使用云服务用户( a cloudservice consumer)来访问云服务。
云资源管理者( cloud resource administrator)是负责管理基于云的IT资源(包括云服务)的人或者组织。云资源管理者可以是(或者说属于)云服务所属的云的云用户或云提供者。还一种可能性是,云资源管理者可以是(或者说属于)签订了合约来管理基于云的IT资源的第三方组织。
- 云资源管理者可以属于云用户组织,管理属于该云用户的可远程访问的IT资源
- 云资源管理者可以属于云提供者组织,为云提供者组织管理其内部和外部可用的IT资源
- 云提供者:提供基于云的IT资源的组织机构。IT资源可以是云提供者自身拥有或者租赁的。
- 云用户:通过与云提供者签订合约协定来使用云的IT资源的人或者组织。云用户使用云服务用户来访问云服务。云服务用户是一个临时的运行时角色,由访问云服务的软件程序担任。
- 云服务拥有者:拥有云服务的个人或者组织。云服务拥有者可以是云用户或者是云提供者本身。
- 云资源管理者:负责管理基于云的IT资源(包括云服务)的人或者组织。云资源管理者可以是云用户、云提供者或者是受委托的第三方组织。
24. 不同层次、粒度的负载均衡机制的作用及特性;
负载均衡 (Load Balancing) 负载均衡建立在现有网络结构之上,它提供了⼀种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
- 全局负载均衡系统(GSLB)
- 内容缓存系统(CDN)
- 服务器负载均衡系统(SLB)
负载均衡器可以执行一组特殊的运行时负载分配功能,包括:非对称分配——较大的工作负载被送到具有较强处理能力的IT资源。
- 负载优先级——负载根据其优先等级进行调度,排队,丢弃和分配
- 上下文感知的分配——根据请求内容的指示把请求分配到不同的IT资源
- 负载均衡器被程序编码或者被配置成含有一组性能和Qos规则1与参数,一般目标是优化IT资源的使用,避免过载并最大化吞吐量。
- 负载均衡机制可以是:多层网络交换机 专门的硬件设备 专门的基于软件的系统
25. NoSQL 数据库的特点及其与传统的关系数据库之间的关系;
- NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。无形之间,在架构的层面上带来了可扩展的能力。
- 大数据量、高性能
- NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。
- 一般mysql使用Query Cache。NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说性能就要高很多。
- 灵活的数据模型
NoSQL无须事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是——个噩梦。这点在大数据量的Web 2.0时代尤其明显。
- 高可用
NoSQL在不太影响性能的情况,就可以方便地实现高可用的架构。比如Cassandra、HBase模型,通过复制模型也能实现高可用。
易扩展、大数据量、高性能、灵活性、高可用
26. VIM 的基本功能及其在自动伸缩、虚拟机迁移、负载均衡等架构中的作用;
VIM(虚拟化基础设施管理)︰用来管理一系列跨多个服务器的IT资源。
- 自动伸缩: VIM可以根据自动伸缩监控器的命令对IT资源进行增大或缩小来实现动态自动伸缩。
- 虚拟机迁移:VIM可以把虚拟服务器在线迁移到另一台物理服务器上。
- 负载均衡的虚拟服务器实例架构:容量看门狗监控器向VIM报告过度使用的情况,VIM给负载均衡器发信号,让它根据预先定义的阈值重新分配工作负载。
- 虚拟机监控器机制:VIM提供了一组特性来管理跨物理服务器的多虚拟机监控器。当虚拟服务器底层的物理服务器正在被其他虚拟服务器使用,VIM决定无法进行扩展。VIM命令繁忙的物理服务器上的虚拟机监控器挂起该服务器的执行。然后VIM命令在空闲的物理服务器上实例化该虚拟服务器。VIM命令新物理服务器上的虚拟机监控器继续执行虚拟服务器的处理。
27. 针对虚拟机失效场景的虚拟机迁移机制,给出主要操作;
- 建立了一个跨多个物理服务器的高可用虚拟机监控器集群。
- 虚拟机监控器集群由中心VIM控制,通过常规心跳消息来监测虚拟机监控器的状态。当物理机或者Hypervisor失效时使用共享云存储设备进行VM在线迁移。
- VM在线迁移是一个具有在运行时将虚拟服务器或虚拟服务器实例重新放置能力的系统。
- 按照预先定义好的计划,物理服务器之间以及和VIM之间相互交换心跳消息。
- 物理服务器B失效且变得不可用时,危及到虚拟服务器C。其余物理服务器和VIM停止收到来自物理服务器B的心跳信息。
- 在评估了集群中其他虚拟机监控器的可用容量之后,VIM选择物理服务器C作为虚拟服务器C的新主机。
- 虚拟服务器C在线迁移到物理服务器C上运行的虚拟监控器上,在正常操作继续进行前,可能需要重启虚拟服务器。
28. SaaS 服务的云应用程序可用的自动伸缩机制,描述该机制的主要构成部分和各自功能;
自动伸缩机制主要构成部分:
- 负载均衡:负载均衡算法,健康检查和会话保持,这三个Feature是保证负载均衡正常工作的基本要素。
- 数据库读写分离
- 数据库垂直切分/水平切分
29. GFS 中 MapReduce 程序是如何实现的?
- 一个MapReduce程序一般分为Map和Reduce两个阶段,中间可能会有combine。
- 在数据被分割后通过Map函数的程序将数据映射成不同的区块,分配给计算机集群处理达到分布式运算的效果,再通过Reduce函数的程序将结果汇整,最后输出运行计算结果。
Reference
https://blog.csdn.net/Gosick_Geass_Gate/article/details/92979971
Ending
不知道要写点什么~
(* ̄︶ ̄) emmm...
哦,对了,是期末考试,很久没去上课了,可能大三开始大学就近乎结束了,一直都在划水,搞得对自己也挺无语的…
马上毕业了,赶紧跳走了吧。
水水得了,60分万岁!
为了梦想,加油ヾ(◍°∇°◍)ノ゙
加油!
感谢!
努力!
以上是关于分布式计算学习笔记(期末复习)的主要内容,如果未能解决你的问题,请参考以下文章