2-算法效率分析基础

2-算法效率分析基础陆伟CollegeofSoftwareandMicroelectronics算法设计与分析IntroductiontotheDesignandAnalysisofAlgorithmsSeptember6,2019NorthwesternPolytechnicalUniversityLectureOverview1.算法效率的度量2.函数的渐进的界3.算法的基本复杂性类型4.算法复杂性分析的基本方法5.非递归算法的复杂性分析6.递归算法的复杂性分析7.递归算法与非递归算法比较8.经验分析方法9.算法可视化2算法效率的度量算法效率的高低体现在运行该算法所需要耗费资源的多少，对于计算机来讲，最重要的资源是时间和空间，因此，算法效率又可分为时间效率和空间效率。分别用N，I和A表示要解决问题的规模、算法的输入和算法本身，用C表示复杂性，那么，应该有C=F(N,I,A)。如果吧时间复杂性与空间复杂性分开，分别用T和S表示，则T=F(N,I,A)，S=F(N,I,A)。T=T(N,I)，S=S(N,I)。3算法效率的度量计算机存储容量的发展使得算法空间复杂性已经不再是关注的重点，但时间复杂性仍然十分重要。因此，我们后续也将主要讨论算法的时间复杂性，但是所讨论的方法对于空间复杂性分析也是适用的。根据T=T(N,I)的概念，它应该是算法在一台“抽象的计算机”上运行所需要的时间。4算法效率的度量设该“抽象的计算机”所提供的元运算有k种，分别记为O1,O2,…,Ok，又设每执行一次这些元运算所耗费的时间分别为t1,t2,…,tk。对于给定算法A，统计其执行过程中用到的元运算Oi的次数，记为ei，i=1,2,…,k。ei=ei(N,I)。其中，ti是与N和I无关的常数。51()(,)kiiiTN,IteNI算法效率的度量我们不可能对规模为N的每一种合法输入I都去统计ei(N,I)，i=1,2,…,k。关于摊销效率6max11()max(,)max(,)(,*)NNkkiiiiIDIDiiTNTNIteNIteNImin11()min(,)min(,)(,)NNkkiiiiIDIDiiTNTNIteNIteNIavg11()()(,)()(,)(,)NNkkiiiiIDIDiiTNPITNIPIteNIteNI函数的渐进的界函数的渐进的界设f和g是定义域为自然数集N上的函数(1)f(n)=O(g(n))若存在正数c和n0使得对一切n≥n0有0≤f(n)≤cg(n)(2)f(n)=Ω(g(n))若存在正数c和n0使得对一切n≥n0有0≤cg(n)≤f(n)(3)f(n)=o(g(n))对任意正数c存在n0使得对一切n≥n0有0≤f(n)cg(n)(4)f(n)=ω(g(n))对任意正数c存在n0使得对一切n≥n0有0≤cg(n)f(n)(5)f(n)=Θ(g(n))⇔f(n)=O(g(n))且f(n)=Ω(g(n))(6)O(1)表示常数函数7函数的渐进的界8函数的渐进的界函数渐进的界的基本性质（1）设f和g是定义域为自然数集N上的函数：（1）若，c为大于0的常数，那么f(n)=Θ(g(n))（2）若，那么f(n)=o(g(n))（3）若，那么f(n)=ω(g(n))9cngnfn)()(lim0)()(limngnfn)()(limngnfn函数的渐进的界函数渐进的界的基本性质（2）设f,g,h是定义域为自然数集N上的函数：（1）如果f=O(g)且g=O(h)，那么f=O(h).（2）如果f=Ω(g)且g=Ω(h)，那么f=Ω(h).（3）如果f=Θ(g)和g=Θ(h)，那么f=Θ(h).(4)O(f(n))+O(g(n))=O(max{f(n),g(n)})(5)O(f(n))+O(g(n))=O(f(n)+g(n))(6)O(f(n))*O(g(n))=O(f(n)*g(n))10函数的渐进的界函数渐进的界的基本性质（3）设f,g,h是定义域为自然数集N上的函数，若对某个其它的函数h,我们有f=O(h)和g=O(h)，那么f+g=O(h).假设f和g是定义域为自然数集合的函数，且满足g=O(f)，那么f+g=Θ(f).11函数的渐进的界例：多项式函数f(n)=a0+a1n+a2n2+…+adnd，其中ad≠0，证明f(n)=Θ(nd)。证明。证明logan=Θ(logbn)。对于b1和α0，logbn=o(nα)，nα=o(bn)。n!=o(nn)，n!=ω(2n)，log(n!)=Θ(nlogn)122log()non算法的基本复杂性类型13算法复杂性分析的基本方法（1）决定表示输入规模的参数。（2）找出算法的基本操作。（3）检查基本操作的执行次数是否只依赖于输入规模。如果还依赖于输入的其它特性，考虑最差、平均以及最优情况下的复杂性。（4）对于非递归算法，建立算法基本操作执行次数的求和表达式；对于递归算法，建立算法基本操作执行次数的递推关系及其初始条件。。（5）利用求和公式和法则建立一个操作次数的闭合公式，或者求解递推关系式，确定增长的阶。14非递归算法的复杂性分析对于等差数列{ak}，对于等比数列{aqk}，对于调和级数{1/k}，对数求和，151nkka0nkkaq11nkk1lognii非递归算法的复杂性分析例16算法MaxElement(A[0..n-1]//求给定数组中的最大元素//输入：实数数组A[0..n-1]//输出：A中的最大元素maxval←A[0]fori←1ton-1doifA[i]maxvalmaxval←A[i]returnmaxval非递归算法的复杂性分析（1）算法输入规模：可以用数组元素个数n度量（2）基本操作：比较与赋值两种，选择比较（3）比较操作只与输入规模相关，不用考虑最坏、平均、最好情况（4）建立基本操作执行次数求和表达式（5）确定增长的阶17非递归算法的复杂性分析18算法UniqueElements(A[0..n-1]//验证给定数组中的元素是否全部唯一//输入：实数数组A[0..n-1]//输出：如果A中的元素全部唯一，返回“true”，否则，返回“false”fori←1ton-2doforj←i+1ton-1doifA[i]=A[j]returnfalsereturntrue非递归算法的复杂性分析19templateclassTypevoidinsertion_sort(Type*a,intn){Typekey;//costtimesfor(inti=1;in;i++){//c1nkey=a[i];//c2n-1intj=i-1;//c3n-1while(j=0&&a[j]key){//c4sumoftia[j+1]=a[j];//c5sumof(ti-1)j--;//c6sumof(ti-1)}a[j+1]=key;//c7n-1}}非递归算法的复杂性分析20)1()1()1()1()1()(7116115114321nctctctcncncncnTniiniinii在最好情况下，ti=1,for1in;在最坏情况下，tii+1,for1in;)1()1()1()1()(74321minncncncncncnT)()()(743274321nOccccnccccc1112)1()1(ninni112)1(ninni)()(22)1(2)1(2)1(12)1()1()1()(27432765432126547654321maxnOccccncccccccncccncnncnncnncncncncnT递归算法的复杂性分析21(1)=1()(-1)+()1OnTnaTnfnnT(n)=an-1T(1)+-2()nniiafi（1）若取a=2，f(n)=O(1)，汉诺塔问题T(n)=O(2n-1)（2）若取a=1，f(n)=n-1，插入排序最坏情况T(n)=O(n2)递归算法的复杂性分析22(1)=1()()+()1OnTnnaTfnnbT(n)=log-1log0(1)()bbnajjjnnTafb（1）若，ε0，（2）若，（3）若，ε0，log-()=()bafnOnlog()=()baTnnlog()(log)baTnnnlog()=()bafnnlog+()=()bafnn()(())Tnfn递归算法的复杂性分析当f(n)为常数时当f(n)=cn时231)(log1)()(loganOanOnTablog()()(log)()baOnabTnOnnabOnab递归算法的复杂性分析例24inthanoi(intn,inta,intb,intc){if(n=1)move(a,c);else{hanoi(n-1,a,c,b);move(a,c);hanoi(n-1,b,a,c);}}递归算法的复杂性分析T(n)=T(n/3)+T(2n/3)+n2501()2(/2)-11nTnTnnn递归算法与非递归算法比较阶乘问题2610!(1)!0nnnnn递归算法与非递归算法比较27intfactorial(intn){if(n==0)return1;returnn*factorial(n-1);}intfactorial(intn){intfn=1;for(inti=2;i=n;i++)fn=fn*i;returnfn;}递归算法与非递归算法比较Fibonacci数列2800()11(1)(2)1nFnnFnFnn边界条件递归方程intfibonacci(intn){if(n=1)returnn;returnfibonacci(n-1)+fibonacci(n-2);}递归算法与非递归算法比较29递归算法与非递归算法比较30staticintFibonacci2(intn){int[]a=newint[n];a[0]=1;a[1]=1;for(inti=2;in;i++){a[i]=a[i-1]+a[i-2];}returna[n-1];}递归算法与非递归算法比较311151151ˆ()()22555nnnnFn(15)/21.61803ˆ1/0.61803(1)()01()(1)11nFnFnFnFn递归算法与非递归算法比较32并非所有递归算法都有非递归定义。Ackerman函数Ackerman函数A(n,m)有两个独立的整型变量m≥0和n≥0，定义如下：1,20)1),,1((),(2)0,(1),0(2)0,1(mnnmmmnAAmnAnnAmAA当一个函数及它的一个变量是由函数自身定义时，称这个函数是双递归函数。递归算法与非递归算法比较Ackerman函数33A(n，m)的自变量m的每一个值都定义了一个单变量函数：m=0时，A(n,0)=n+2m=1时，A(n,1)=A(A(n-1,1),0)=A(n-1,1)+2，A(1,1)=2故A(n,1)=2nm=2时，A(n,2)=A(A(n-1,2),1)=2A(n-1,2)，A(1,2)=A(A(0,2),1)=A(1,1)=2，故A(n,2)=2n。m=3时，类似的可以推出A(n,3)=m=4时，A(n,4)的增长速度非常快，以至于没有适当的数学式子来表示这一函数。n2222经验分析法数学远远不是万能的，即使许多貌似简单的算法