算法概述-第一节：算法基本概念和算法复杂性分析

Posted 2022-10-07 快乐江湖

文章目录

• 一：算法与程序
• • （1）算法的定义
  • （2）算法的五大特征
  • （3）算法与程序的区别
  • （4）算法的描述方法
• 二：算法复杂性分析
• • （1）时间复杂度
  • • A：算法时间复杂度表示方法
    • B：表示算法渐进时间复杂度的数学符号
    • C：推导阶的方法
    • D：各阶分析
    • • ①：常数阶
      • ②：线性阶
      • ③：对数阶
      • ④：平方阶
  • （2）空间复杂度

一：算法与程序

（1）算法的定义

算法(Algorithm)：算法是计算机解决问题的方法，是计算机解决某一特定问题的一组有序的指令序列，是计算机完成一个任务所需要的具体步骤和方法

（2）算法的五大特征

算法五大特征：

• 有穷性：一个算法必须总在执行有穷步之后结束，且每一步都可以在有穷时间内完成

• 确定性：算法中每条指令必须有确切的含义，对于相同的输入只能得到相同的输出

• 可行性：一个算法所描述的操作都可以通过已经实现的基本运算执行有限次数来实现

• 输入：一个算法有零个或多个输入，这些输入取自于某个特定的对象的集合

• 输出：一个算法有一个或多个输出，这些输出是与输入有某种特定关系的量

（3）算法与程序的区别

程序( Program)与算法不同。程序是算法用某种程序设计语言的具体实现。程序可以不满足算法的有穷性

• 例如，操作系统是一个在无限循环中执行的程序，因而不是一个算法。然而，操作系统的各种任务可以看成一些单独的问题，每个问题由操作系统中的一个子程序通过特定的算法来实现。该子程序得到输出结果后便终止

（4）算法的描述方法

算法的描述方法：

• 自然语言
• 图形符号:
• 流程图
• 程序语言
• 伪代码

二：算法复杂性分析

算法复杂性分析：一个算法的是否复杂体现在它运行在计算机上需要需要耗费多少资源，显然所需资源越多，算法复杂度就越高、而计算机资源主要指时间和空间资源，分别对应时间复杂度和空间复杂度

算法复杂性这个概念其实比较空洞和抽象，在实际使用时我们需要一个量去度量它，而且这个量只依赖于

• 问题规模$N$
• 算法输入$I$
• 算法本身的函数$A$

如果使用$C$表示复杂性，那么就有$C=F(N,I,A)$，通常$A$会隐含在复杂性函数名中，所以前式一般写作$C=F(N,I)$。如果分别用$T$和$S$代表时间和空间复杂度

• 时间复杂度：$T$=$T(N,I)$
• 空间复杂度：$S$=$T(N,I)$

（1）时间复杂度

A：算法时间复杂度表示方法

• 算法的时间复杂度是指该算法在一台抽象的计算机上运行时所需要的时间，我们最直接的想法肯定是得到该算法每个步骤或运算的时间，然后结合其发生的概率等信息，进行总和。但事实上，这样做既不可能也不合理
• 因此，为简化算法分析过程，并易于对不同算法的运行时间进行对比，我们只考虑问题规模充分大时的情况。所以既然无法直接得到$T$，那么就用渐进复杂性$\tilde{T}$代替

时间复杂度：设$T(N)$是关于算法$A$的复杂性函数，当$N$单调增大且趋于$\infty$时，$T(N)$一般也会单调增大且趋于$\infty$；此时如果存在$\tilde{T}(N)$，当$N\to \infty$时，使得$\frac{T(N)-\tilde{T}(N)}{T(N)}\to 0$，就说$\tilde{T}(N)$是$N\to \infty$时的渐进性态，或称$\tilde{T}(N)$是$T(N)$当$N\to \infty$时的渐进表达式

• 直观上来讲，$\tilde{T}(N)$是$T(N)$中略去低阶留下的主项。例如$T(N)=3N^2+4NlogN+7$，则$\tilde{T}(N)$一般为$3N^2$
• 具体分析时，只要能确定各自算法的阶，就能够比较两个算法的效率差异了。例如$3N^2$、$1000N^2$他们的阶都是平方阶

B：表示算法渐进时间复杂度的数学符号

• 渐进意义下的时间复杂度符号有：$O$、$\Omega$、$\theta$、$o$
• 设$f(n)$和$g(n)$是定义在正数集上的正函数

$O$：若存在正的常数$C$和自然数$N_0$，使得当$n\ge N_0$时有$f(n)\le Cg(n)$，则称函数$f(n)$当$n$充分大时有上界，且$g(n)$是它的一个上界，记为$f(n)=O(g(n))$，也即$f(n)$的阶不高于$g(n)$的阶

• 例如：$100n+5\le 100n+n$(当$n\ge 5$)$=101n\le 101n^2$

根据$O$的定义，容易得到它有如下运算规则

• $O(f)+O(g)=O(max(f,g))$
• $O(f)+O(g)=O(f+g)$
• $O(f)O(g)=O(fg)$
• $O(Cf)=O(f)$，其中$C$是一个正常数
• 若$g=O(f)$，则$O(f)+O(g)=O(f)$
• $f=O(f)$

---

$\Omega$：若存在正的常数$C$和自然数$N_0$，使得当 n ≥ N 0 n\\geq N_0 n≥N算法分析----第一节