MLsys 基础概念汇总

Posted 2023-05-01

参考技术A latency：request到response中间经历的ms
P99-latency：样本中延迟最大的1%的数据的平均延迟
P95-latency：过去的10秒内最慢的5%的请求平均延时.
throughput：某一时刻成功处理request的data的数量
并发：针对进程，同时执行多个进程，CPU轮转轮流处理这些进程。
并行：针对进程，多和CPU同时对多个进程进行计算
MLOps: operation运维与machine learning之间的桥梁的开发

tail latency：常在分布式高并发中出现的词
开发和运维高并发系统的工程师可能都有过类似经验，明明系统已经调优完毕，该异步的异步，该减少互斥的地方引入无锁，该减少IO的地方更换引擎或者硬件，该调节内核的调节相应参数，然而，如果在系统中引入实时监控，总会有少量响应的延迟高于均值，
类似：数据集的长尾效应
训练数据中，一小部分的类别占据了大多数的训练样本，而大部分的类别只有极少数的训练样本。类别重平衡策略（如权重重赋值，重采样等）是为了缓解长尾效应提出的最有效最关键的策略。
【未完待续】

信息安全最基础的概念汇总

一 人为的恶意攻击：有目的的破坏，分为主动攻击和被动攻击

（1）主动攻击：以各种方式有选择地破坏信息（修改、删除、伪造、添加、重传，乱序、冒充，传播病毒等）。

（2）被动攻击：在不干扰信息系统正常工作的情况下，进行截获、窃取、破译 和业务流量分析等。

 

二 人为恶意攻击的常用手段

（1）监听：攻击者通过监视网络数据获得敏感信息。

（2）重传：攻击者事先截获部分或全部信息，以后将此信息发送给接收者。

（3）伪造：攻击者伪造一个信息，将伪造的信息以其他人的身份发送给接受者。

（4）篡改：攻击者对合法用户之间的通信信息进行修改、删除、插入，再发送给接收者。

（5）行为否认：通信实体否认已经发生的行为。

（6）拒绝服务攻击：攻击者通过某种方式使系统响应变慢甚至瘫痪，阻止合法用户获得服务。

（7）非授权访问：不按照设定的安全策略要求使用网络或计算机资源的行为都可以看做是非授权访问。非授权访问主要有假冒、身份攻击、非法用户进行网络系统进行违法操作、合法用户以未授权方式进行操作等几种形式。

（8）传播病毒：通过网络传播计算机病毒，其破坏性非常大，而且很难防范。如众所周知的CIH病毒、“爱虫”病毒都具有极大的破坏性。

 

三 人为恶意攻击具有智能性、严重性、隐蔽性、多样性等特性

（1）智能性：恶意攻击者大都具有相当高的专业技术和熟练的操作技能，对攻击者的环境进行了周密的预谋和精心的策划。

（2）严重性：指涉及金融资产的网络信息系统受到恶意攻击，往往由于资金损失巨大而使得金融机构和企业蒙受重大损失，甚至破产，同时也给社会稳定带来负面影响。

（3）隐蔽性：指人为恶意攻击的隐蔽性很强，不易引起怀疑，作案的技术难度大。计算机犯罪的现场也不像传统犯罪现场那样明显。

（4）多样性：指随着互联网的发展，网络信息系统中恶意攻击也随之发展变化。

 

四 信息安全需要的基本安全服务 下载

（1）保密性：信息的保密性是指信息不被非指定对象获得。

（2）完整性：完整性是指数据来源的完整性和数据内容的完整性。数据来源的完整性包含数据来源的准确性和可信性。数据内容的完整性是指接收到的数据与正确来源生成数据的一致性。

（3）不可否认性：不可否认性是指数据生成者或者发送者不能对自己做过的事抵赖。当发送者对发送过的数据进行否认时，第三方能够对发送者的行为进行判断、裁决。

 

五 密码学的发展阶段

（1）手工阶段：这个阶段是密码技术的初级阶段，可以追溯到几千年前，可以说自从有了人类战争，就有了密码技术。早期的密码技术是非常简单的，主要以简单的“替换”或“换位”实施密码变换。

（2）机械阶段：密码技术发展不断进步的，随着破译技术的不断发展，对密码的安全性要求也越来越高，相应的算法复杂度也越来越大，这使得人们有必要改进加密手段，使用机械的方法实现相对复杂的密码算法。

（3）现代密码阶段：随着电子通信与计算机技术的发展，密码学得到了系统的发展。1949年，香农发表了《保密系统的通信理论》，给出了密码学的数学基础，证明了一次一密密码系统的完善保密性。

（4）密码学的新方向：20世纪70年代末，美国政府为了满足政府及民间对信息安全的需求，确定了数据加密标准算法DES，首次公开加密算法细节，这使得加密的安全性建立在密钥的保密性之上。 下载

 

六 密码学基本概念

（1）密码学：把来自信息源的可理解的原始消息变换成不可理解的消息，同时又可恢复到原消息的方法和原理的一门科学。

（2）明文和密文：利用密码技术变换前的消息称为明文，用密码技术变换后的消息称为密文。

（3）加密算法：用于把原始消息变换成密文的算法称为加密算法。

（4）解密算法：用于恢复明文的算法称为解密算法。

（5）密钥：用于加密或解密的秘密信息。

（6）明文空间：一个加密算法能够加密的所有可能明文的集合。

（7）密文空间：一个加密算法输出的所有可能密文的集合。

（8）密钥空间：能够用于一个算法加密或解密的所有可能密钥集合。

 

七 密码体制的分类

密码体制分为对称密码体制和非对称密码体制。 下载

（1）对称密码体制：指加密/解密的密钥是同一个密钥或者很容易从一个密钥推导出另一个密钥。

 

对称密码体制首先假设通信双方能够通过一个安全信道协商一个会话密钥（加密/解密密钥），双方通信时，发送者A利用加密密钥k以及加密算法将原始信息m加密成密文c；合法接收者B收到密文c后，利用解密算法及密钥k对密文解密得到原始信息m。对称密码体制的安全性是公开算法的前提下，安全性依赖于密钥的安全性。

（2）非对称密码体制：指加密/解密使用不同的密钥，且由公开的密钥推出私有密钥是困难的。

 

• 消息的接收者拥有一对公钥和私钥，公钥用于加密数据，私钥用于解密数据。在使用公钥加密算法前，需要一个初始化过程安全生成用户的公钥和私钥，并利用可靠的方法发布公钥。

• 公钥是公开的数据，可以通过一些方法让其他任何用户得到，即公钥不对任何实体保密，但由公钥计算对应的私钥是一个困难的问题（由私钥计算公钥是容易的）。

• 利用公钥及密文，在不知私钥的情况下，计算对应的明文是困难的。