周国标师生交流讲席001

1《周国标师生交流讲席001》2007.9.28开场的话这个学期,数学系安排我为全校研究生上2门课共3个班（这是经过调整后的结果）:2个班的《最优化理论基础》和一个班的《计算方法》，每个班的选课人数都很多，这说明研究生同学学习的积极性很高，但也出现了有些同学没有坐位的情况，还有同学反映听得不清楚，看得不清楚。我已经与研究生院反映过，但是据我所知，研究生院能用的教室已经全部用完（因为教务处还要安排本科生的教室），难以再换更大的教室。对此，我只有2招。一是希望星期三晚上的同学能有一部分分流到星期二晚上（地点E104），以避免站着听课，星期二的班是新增加的，很多同学不知道，尚有些空位；二是我上课时再大声点，字写得大一些。我不想用多媒体，因为现有的幕布占了一半多墙面，黑板只有一点点，而且一打投影，黑板上的光线很差。我认为讲数学关键要讲思想和思路，不用黑板是不行的。课余休息时间虽然可以提问，但时间很短，很多同学常常这门课下课了，又要赶到其他教室上另外的课;同一问题这个同学问了，其他同学听不到。加上有的教材并不能满足同学的自学要求。对此，不少同学希望能有一个与老师交流讨论的窗口。因此，我想到了第3招，即充分利用网络的优势，开设一个讲席，把它作为第二课堂，把一些学习的难点和有较多同学觉得有疑问的内容，每次讲席集中一个问题，作进一步的分析与解剖，使大家对学习内容的理解进一步加深。提高学习效果是我作为一名教师不可推卸的责任。现在开始试验这个不定期的讲席，我没有办网站的经验，只能不断探索，而且我的时间也有限，但是我一定认真对待，把这件事尽力做好。如有不足，请同学们谅解，并多提改进的意见。《最优化理论基础》和《计算方法》这两门课程还有其他多位有教学经验老师在同时开设，每位老师对课程的处理可能会有些差异，进度也会不同，但课程的基本数学思想和方法是相同的，所以，这里讨论的问题对于其它班的同学，或许也会有启发，欢迎其它班的同学对我讲得不足之处，提出建议。让我们大家一起来把这件事做好。提高同学们的数学水平，扩展大家的数学应用能力，是我的最大乐趋。谢谢大家的合作。周国标2007.9.28本次讲席重点讨论关于多元函数的梯度问题这是在最优化课程第0章数学预备知识中的重要内容。梯度概念对于优化方向的选择，是至关重要的。所以这个概念的来龙去脉搞清了，对学习本课程是具有基础意义的。如果照本宣科，我们也可以在课堂上灌输式地直接定义这个叫梯度，它有什么性质1，2，3，4。尽管从数学定义看是无误的，百分之百正确，但这样教学对深入理解问题没有多少帮助。目前国内大多数关于最优化方法的教材，没有仔细介绍，我的多年的教学经验告诉我，对工科学生上课，不能这样对待如此重要的概念，否则，后面的学习很可能成为空洞的数学符号字面上的游戏。对这个问题，我们是先从大家比较熟悉的一元函数的导数和Taylor公式开始的，因为不论是一元还是多元函数，它们的有限增量和展开表达式在形式上是相似的，有可比性，而且，一元的可作为多元的特例，这样就便于大家理解和记忆。2设有一元函数:DRR为D上的一元函数，()x在D上连续，那么对于,xxhD，通过极限可定义函数的导数0()()lim'()hxhxxh（1）换言之，在点x处的导数是用函数的增量与自变量的增量之比的极限来表示，它描述了函数在该点的变化的快慢，即变化率。另外，由Taylor公式展开到一阶：'2'1()()()''()()2!xhxxhhxhh，(2)其中1''()2!h0，当0h时。所以，)(hOh，是h的高阶无穷小量。这样，可有一元函数导数的定义的另一形式0|()()'()|lim0hxhxxhh，（3）这是我们非常熟悉的结果。但要防止仅从数学符号的层面上去死记硬背它。对单值多元函数:nDRR（即12(,,,)nyxxx），直观地我们可以想像，它在每一点也应该有其变化率，那么怎么表示呢？首先我们会想到偏导数(),1,2,,ixinx，不过，偏导数只是函数沿某一个单位轴向的变化率，它们与函数12(,,,)nyxxx变化率有何关系？是不是把这些偏导数统统加起来？乘起来？这样想当然的思想方法是不可取的，科学的方法论告诉我们，应该从问题的根上，即在点x处的导数是用函数的增量与自变量的增量之比的极限来表示函数的变化率。不过这里要注意，点x是n维空间中的点，而自变量的增量h也是n维的，它不象一维情况中，增量h只沿x轴，最多只差正负号；在这里增量h可理解为一个任意向量或方向，它当然是一个“小”的向量，其小表现在长度上，可用范数表示其大小。按此思路，可推出形式上一致但含义不同的结果，得出多元函数的导数。在此基础上，我们演绎推导出一个结果，在课堂上我用一个定理表示出来，这个定理给出的是多元函数在自变量x有微小增量h（注意：它们都是向量！）时的函数的有限增量)()(xhx，如何用函数在各坐标方向的偏导数与增量h的内积来表示。这样的表达形式与一元函数的情况相似（见（2）），在那里，有限增量被表示成导数与增量h的乘积（也就是微分）。设:nDRR为D上的多元函数，()x在D上有连续偏导数，对任意xD，nhR，使xhD。自变量的增量h是n维的，数学家在这里用了一个处理高维问题的常用方法：把h“投影”到n个坐标轴去！因为分解到了n个坐标轴后，那些偏导数(),1,2,,ixinx，就可以派上用处了。所以我们设自变量的增量为各坐标轴增量的向量之和：121(,,...,)nTniiihhhhhe，其中ie为nR中第i个单位坐标向量。（这个记法好理解吧！）于是函数的增量为1()()()()niiixhxxhex（4）到这里，注意函数()x是单值函数（但自变量是多元），它不是向量值。此函数本身不能“投3影”到n个坐标轴去，不过我们要利用一定的技巧，把函数表示为n个“一元变量”的函数之和，具体做法是“减一个加一个”：（接式（4））1223[()()][()()]...[()()]nnnniiiiiiiinniiiixhexhexhexhexhex11112222[()()][()()]...[()()]nnnnyheyyheyyhey（5）其中1nijjiiyxhe，1,2,,in。当2212...0nhhh时，必有0ih，从而不难知有iyx，1,2,,in。到了这一步，我们要利用一元函数的理论和结论了。注意到（5）中每一个中括号内,如将iy视为定值,则是一元函数的差,故由一元函数的中值定理，并考虑偏导数的连续性，对于1,2,,in，有2221()()()2!iiiiiiiiiiiiiyyheyhyhehxx（01i）iiiiiyhhx,1,2,,in(6)其中221()2iiiiiiiyhehx，显然0ih时，i→0，1,2,,in。在这一步，很多同学产生了疑惑。疑惑集中在三点。一是这为什么是一元函数（有很多同学问了），二是等号后面的偏导为什么对ix，应该对iy啊！第三，这个偏导后面，为什么只写ih，还有一个ie，你证明把它忘了？其实，(0,,0,,0,,0)Tiiiheh，只有第i个分量ih非零；而1nijjiiyxhe是个向量，写得明确点，11(,,)(0,,0,,,)TTininyxxhh，实际上()()iiiiyhey还是多元函数的增量之差，不是一元函数的增量差，我们这里只是把1nijjiiyxhe的各分量固定起来，那么，()()iiiiyhey就可“视为”只有第i个分量ih为变量的一元函数，我们在求偏导时不就这么处理的吗？另外，此时实际的增量是一个标量ih，而非向量iihe，所以（6）的表达是正确的。如果在偏导后再画蛇添足的加上个ie，使之成为向量，那两边还相等吗？现在，我们已经把问题的技术处理做得差不多了，该到总结一下的时候了。当20h时，()iiiyxxx，1,2,,in，且记12(,,...,)Tn和12()()()()(,,...,)Tnxxxxxxx（7）此时从（6）有()()xhx11122212()()()nnnnxxxhhhhhhxxx4=1122112()()(),,,(,,)nnnnhhhhxxxxxxhh（8）我们把它写为向量记法，()()()()()TTTxhxxhhxhOh（9）这正是我们要证明的结果。不知道我这样解说和剖析，能不能让大多数同学理解？在数学学习上，重要的不是只有一个形式上的数学等式，而是它的实际含义。不明白公式的含义，只会照葫芦画瓢地做习题，意义不大，那只是应试教育的模式。我国每年有几百万大学毕业生，如果每人每年都能够应用数学解决一个实际问题（不管大小），那该是多么幸运的事，能产生多大的社会和经济效益。没有一个大学生说数学没有用，但是，在很多人的心目中，或者在他的潜意识中，数学的有用，首先是考大学考研时需要考数学，所以他才去学，他在学习的时候，恐怕想得更多的是“过关”。这是一个非常令人痛心的现象。这种社会现象的出现，板子不要都打到学生的屁股上，那是不公平的。当然我们每个人都应想想，我对此有何个人的责任。不过我想，今天我们不去研究这个问题，我只希望交大的研究生们，应多想自己的责任，多下点功夫，掌握真功夫。我们现在来看（9）。它告诉我们，一个多元函数的有限增量等于什么呢？是一个如（7）所示的向量与自变量的增量的内积再加上一个关于自变量的增量的长度的高阶无穷小量，这个小量在自变量的增量的长度趋于零时，以更快的速度趋于零。它所表达的“信息”其实与（2）是完全一致的，所不同的是这里不再是一个导数值在起作用，而是一个如（7）所示的向量，这个向量实际上就是多元函数的导数，当然，这时，它不再是一个数，而是反映各坐标方向的偏导数组成的向量。我们在（9）的两边取范数（实际是取绝对值，因为两边都是数！）22()()()TTxhxxhhh(10)这一步的不等式部分，是应用了Cauchy不等式的结果，因为(,)Thh，是一个两向量的内积。因此22()()()Txhxxhh（11）注意，2||||h是一个数，可以做除数。又因为20h时，20，所以有202()()()lim0Thxhxxhh(12)由向量范数的等价性，上式对任一范数均成立。称满足(12)的多元函数()x为D上的可微函数，()Txh是n维向量h的线性函数，称其为函数()x的微分，称列向量12()()()()(,,...,)Tnxxxxxxx为函数()x关于向量变量x的一阶导数，简称为导5数，记为'()x，习惯上也用()x表示。在研究三维数量场时它被称为在点x处的梯度，这个称法也使用到多元函数()x中，故多元函数()x在x处的一阶导数，也称为()x在x处的梯度。好了，基本概念建立了，再讨论梯度的数学性质。多元函数的梯度具有2个最重要的性质，我们有关理解和记住，并能够把它们应用到实际问题中去。第一个性质，多元函数()x在x的梯度，正是函数值在x处增长最快的方向。这是一个定理，我们在课堂上应用方向导数，并使用“两向量的内积在它们重合时最大”这个基本事实证明了，估计大家理解起来问题不大，这里就不说了。第二个是关于梯度在函数一点处的几何性质，我们这里仔细研究它。设:nDRR为D上的多元函数，12(,,,)TnxxxxD，则()x过点x的等值面方程为12()(,,,)(