摘抄技术点滴

Posted 2021-12-11 jzhang

一、BUFFER和CACHE
      缓存（cached）是把读取过的数据保存起来，重新读取时若命中（找到需要的数据）就不要去读硬盘了，若没有命中就读硬盘。其中的数据会根据读取频率进行组织，把最频繁读取的内容放在最容易找到的位置，把不再读的内容不断往后排，直至从中删除。
     缓冲（buffers）是根据磁盘的读写设计的，把分散的写操作集中进行，减少磁盘碎片和硬盘的反复寻道，从而提高系统性能。linux有一个守护进程定期清空缓冲内容（即写入磁盘），也可以通过sync命令手动清空缓冲。

     简单来说，buffer是即将要被写入磁盘的，而cache是被从磁盘中读出来的。

二、什么是高并发并如何解决
    1．高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
    高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。
    响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这个200ms就是系统的响应时间。
    吞吐量：单位时间内处理的请求数量。
    QPS：每秒响应请求数。在互联网领域，这个指标和吞吐量区分的没有这么明显。
    并发用户数：同时承载正常使用系统功能的用户数量。例如一个即时通讯系统，同时在线量一定程度上代表了系统的并发用户数。
    2．如何提升系统的并发能力
    互联网分布式架构设计，提高系统并发能力的方式，方法论上主要有两种：垂直扩展（ScaleUp）与水平扩展（Scale Out）。
    垂直扩展：提升单机处理能力。垂直扩展的方式又有两种：
  （1）增强单机硬件性能，例如：增加CPU核数如32核，升级更好的网卡如万兆，升级更好的硬盘如SSD，扩充硬盘容量如2T，扩充系统内存如128G。
  （2）提升单机架构性能，例如：使用Cache来减少IO次数，使用异步来增加单服务吞吐量，使用无锁数据结构来减少响应时间。
    在互联网业务发展非常迅猛的早期，如果预算不是问题，强烈建议使用“增强单机硬件性能”的方式提升系统并发能力，因为这个阶段，公司的战略往往是发展业务抢时间，而“增强单机硬件性能”往往是最快的方法。不管是提升单机硬件性能，还是提升单机架构性能，都有一个致命的不足：单机性能总是有极限的。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。
    水平扩展：只要增加服务器数量，就能线性扩充系统性能。水平扩展对系统架构设计是有要求的，如何在架构各层进行可水平扩展的设计，以及互联网公司架构各层常见的水平扩展实践，则是重点应该学习的内容。

三、RAID简介
    大容量、高性能、可靠性、可管理性

    Raid0:提高存储性能的原理是把连续的数据分散到多个磁盘上存取，这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。实现RAID 0至少需要两块以上的硬盘，它将两块以上的硬盘合并成一块，数据连续地分割在每块盘上，空间翻倍。特点是：没有数据冗余，没有数据校验的磁盘陈列、带宽加倍，所以读/写速度加倍、没有提供数据保护功能，只要任何一块硬盘损坏就会丢失所有数据。

    Raid1:通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互为备份的数据。RAID 1是磁盘阵列中单位成本最高的，但提供了很高的数据安全性和可用性。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据。 实现RAID 1至少需要两块以上的硬盘，操作方式是把用户写入硬盘的数据百分之百地自动复制到另外一个硬盘上。由于对存储的数据进行百分之百的备份，空间减半。特点是：RAID 1磁盘阵列的写入速度通常较慢，因为数据得分别写入两块硬盘中并做比较、RAID 1磁盘阵列一般支持“热交换”，就是说阵列中硬盘的移除或替换可以在系统运行时进行，无须中断退出系统、RAID 1磁盘阵列主要用在数据安全性很高，实现备份、如果服务器支持热插拔，raid卡够智能，坏掉一块盘的话正常做法先备份数据是拔掉坏盘，插上一块相同型号的备盘，raid控制器会自动开始重建数据。

    Raid10:是一个Raid 1与Raid0的组合体，它是利用奇偶校验实现条带集镜像，所以它继承了Raid0的快速和Raid1的安全。我们知道，RAID 1在这里就是一个冗余的备份阵列，而RAID 0则负责数据的读写阵列。至少要四块盘，两块做raid0,另两块做raid1，RAID 10对存储容量的利用率和RAID 1一样低，只有50%。特点：Raid10方案造成了50%的磁盘浪费，但是它提供了200%的速度和单磁盘损坏的数据安全性，并且当同时损坏的磁盘不在同一Raid1中，就能保证数据安全性、RAID 10能提供比RAID 5更好的性能。这种新结构的可扩充性不好，使用此方案比较昂贵。