搜索
DocumentTitleSecurityLevel:2020-03-24HUAWEIConfidentialPage1,Total16有人认为我验证做得很牛，也有人认为我的验证早就丢下了；有人认为我发现了各个项目的不少问题，也有人认为我在CMM库的几百个问题单大部分属纯净水。好吧，无论怎样，我还是把我在验证中如何发现和定位Bug的思路稍微描述总结一下，纯属灌水。以前华仔曾经叫我写过一次，我随手写了一点点，这次还是详细一点吧，主要分几点：视角、技巧、思路、经验。这里主要还是共享给验证的同志们，但对设计的同志其实我觉得是没有什么差别的。目的：发现Bug，发现所有的Bug，或者证明没有Bug，是验证存在的唯一目的。无论任何验证语言、任何验证环境、任何验证方法学、任何FeatureList，都是为了达成这一目的而使用的方法，或者所手段。偏离了这一目的任何工作和努力，都是屎、大便、Shit。绝对不要被任何华丽的技巧、方法、经验所迷惑，无论验证环境有多么美丽，无论验证语言有多么的HighLevel，都不要迷惑。不要为了追求完美、高效的环境而沉迷其中，陷阱往往就在美丽的后面。有时候，最简单的，才是最直接的，任何武术，直拳最有效。以SV为例，SV有高层次的语法和结构，能够更大限度发挥激励的控制和Random测试的效率。但是对于发现Bug的目的而言，它只对其中的20%目标达成有突出贡献，而剩余的80%，其作用和普通的Verilog并无二致。当然，我不是指要放弃SV，因为其有效贡献的20%工作，是普通Verilog很难或者无法完成的工作。OK，所以顺便涉及另一个问题，设计人员需要学习SV吗？有多少设计人员能够在检视或简单UT中发现80%的Bug，而需要SV去完成最后20%？不要看见别人用SV，就屁颠屁颠地跟潮流，想清楚SV能为达成最终的目的带来什么贡献才是关键。设计人员和验证人员相互沟通，真正的障碍是验证方法学，而不是验证语言。以TC为例，对于一个验证人员，跑通全部TC，意味什么？代码覆盖率100%，意味什么？验证差不多完成？在我看来，相当于验证工作大致完成了90%，而有一句老话怎么说的？行百里路，半九十。也就是所，实际上剩下10%，才是最艰辛的工作。也许某条TC什么也没干，然后因为什么也没干而Pass了，或者没有实现验证者的意图，所以也Pass了。只有，而且也只有，有充足信心证明全部Bug被发现、或者没有Bug。但这个充足的信心怎样说明？后面我再详细说明。视角：有多大的视角，就能发现多少的Bug。引用CCTV的一句台词，心有多大，舞台就有多大。我比较不喜欢看到的，就是一个验证人员跑来告诉设计人员，说某某TCFail了，波形在XXX，请分析。我不能认定这位验证人员的工作是否合格，只能表达强烈的情绪，特别是最后发现Fail的原因是验证环境问题的时候。这种验证人员，对设计人员、项目经理，都是巨大的风险。因为设计和验证，是一定需要有交集的，并且耦合越大，风险越小，只能提Feature、写TC的验证人员，就像初三的新月一样，反而需要别人去耦合，如果设计人员视野不足，野心不够，就存在空隙了。DocumentTitleSecurityLevel:2020-03-24HUAWEIConfidentialPage2,Total16一个验证人员，如果能够发现设计中的CriticalPath并告诉PR，一定不会得到批评，反而会在实现工作中得到更多的发言权，和更多的发展。一个验证人员，如果仅仅只能跑写TC、跑TC，那么多年得不到晋升恐怕也怨不得别人。OK，回到原点。验证人员必须要懂得代码，懂得分析逻辑，甚至能够通过代码分析出可能的疑点，更好的，能够理解整个系统的运作，理解前端后端的实现，找出设计人员视角的盲区，才能更好的发现Bug，解决Bug。当然，某些同志会认为，验证人员，发现实现的问题耽误了主业，而且实现的问题，实现人员更容易发现。OK，这里同样存在一个视角的问题，你的视角和实现人员的视角是不一样的，也许觉得很容易发现的问题，恰好别人不容易发现呢？反过来说，实现人员或设计人员还可以觉得代码Bug对于验证人员是很容易发现的呢。此外还有一个时间成本的问题，任何问题，遗留的时间约长，代价越大。所以我说一句，验证人员，一定要放开视角，努力去看你所能够看到的，然后，你能够看得更多。然后再补充不务正业的说明，验证人员的目的是发现Bug，这是唯一的目的，不仅仅是一个TC所能发现的Bug，而是整个芯片可能存在于任何环节、任何位置的Bug。只有芯片的成功，才是真正的成功，而一个Bug，就可以毁掉一个芯片，而覆巢之下，安有完卵？当然，验证人员会问，整个芯片太大了，扩展视角，不是不努力，而是看不到啊。OK，我再说一句，对于验证人员，最简单，最真切的视角就在脚下。TC，每一条TC，每一个TC的波形，都代表了芯片中的全部或部分，真实运作的场景，有血有肉。如果把波形当作TCPass的附属物，那么，恭喜，验证人员，你拿了芝麻丢了西瓜。波形真的可以告诉你很多、很多。我甚至可以公布我做验证的时间分布（不包括最初搭建环境的时间），20%时间写TC，10%时间调环境，50%时间看波形，确认TC达到我想要的意图（TCLog中的Pass？噢，对不起，这种狗屎信息我向来忽略），剩余20%时间？对，剩余20%的时间，是我固定的，从当前表面上正确运行的波形中，对照代码，寻找其他可能发现的时间。不要跟我说现在系统太复杂，看波形效率太低。OK，Hi1380的系统复杂不？整个波形我也从头到尾看过啊。而且，就在我看波形的第一天，就是从一个已经Pass的，好像是GIC的系统验证波形中，拿到了超过20个问题单（加上代码检索的30个问题单，创造了下图中陡升的曲线，不过可惜了，没能突破300）。DocumentTitleSecurityLevel:2020-03-24HUAWEIConfidentialPage3,Total16淘金的执念：缺陷就在哪里，静静地躺在哪里。没错，一定在，而且马上就能看到！！执念，这是一种执念！！作为验证人员，一定要有这种强烈的，不可动摇的执念或者说饥渴感，而且是和设计人员强烈对抗的执念。实际上，目前看到的所有芯片，都已经证明，投片后，依旧有缺陷遗留在其中，没有被发现。所以，这种执念，无比正确。只有疯子，才能发现隐藏得最深的金子。我开始做设计之后，这种执念消失了很多，总是希望系统确实在完美地运行，失败，很是失败。不过对他人设计的模块，以及不是我负责的项目，这种执念还是非常强烈，呵呵，这也是我在1380和P600中疯狂创造问题单的原动力。这跟淘金的人，可能是差不多的。金子就在这里，一切的希望都在这里，再挖一锄头，就找到了。只有疯子，才能成功。淘金的技巧：指定找一块地，疯狂地朝下挖？No，No，疯子都会B4你，淘金也是有技巧的。很多方法，其实说白了，很简单的。表层的土是最容易挖的，那么，别人没有挖过的地方，最有可能在表层找到金子。为什么别人没有挖？很简单，盲区。两种盲区：1）明明每天都能看到，却没有人想到去挖一挖的地方。以1380为例，天天都有人跑ARM，就硬是没有人去分析一下ARM，如果最开始，就能多看看ARM的ACP代码，宝藏啊，宝藏啊，ACP虽然没有错，可是上游会冲下来多少金子积累在这里啊。2）别人不屑于去挖的地方。IO_CFG简单吧？TEST_MUX简单吧？TOP层的IO互联简单吧？不屑啊，多少验证人员对此不屑一顾啊，那眼神就是在说，真TMD没技术含量。是啊，再TMD没有技术含量，也是金子啊。对于表层土的挖掘，不要太固执于一点，广撒网，多捕鱼。如果十锄头都没有挖到金子，马上换地方，对于别人刚挖过，还没深挖的地方，也来上几锄头，说不定就可以让前一个家伙悔到死。表层土都差不多了，就需要找关键部分深挖了。如何找关键部分，是非常讲究的事情，兼顾风水、心理、外交、直觉等多方面知识，很难给出综合性的分析。下面几点可作为Hint：1）如前面所说的，只知道跑TC，跑错后让设计人员定位的验证人员负责的区域；DocumentTitleSecurityLevel:2020-03-24HUAWEIConfidentialPage4,Total162）对实现没什么概念的设计人员设计的模块；3）责任人变来变去的地方；4）DFT相关的地方（验证人员的DFT知识严重缺乏）；5）规格老是变来变去的地方及其可能影响的地方；6）第一次做代码集成人员连接的顶层位置；7）浮浮躁躁、毛毛糙糙的新员工负责的地方；8）时钟域（几乎当前所有的验证人员都不关心时钟正确性，只要能跑TC）；9）所有人都认为没有问题的地方；10）验证人员宣称放弃的地方；11）技术难度比较高的地方；12）你以前项目发生过问题的地方（相同或类似的问题很大几率存在）；13）整个系统中相关性非常高的一连串区域；14）协议和时钟转换的区域；15）其他隐藏在内心深处的秘密。需要注意的是，在挖掘这些Hint点的时候，并不一定能保证挖到金子，而且即使有金子，你也并不一定能够挖到，人品，人品很重要。OK，关键部分都挖得差不多了，剩余的金子基本上就埋藏得比较深了，这个时候发现的金子都将比较可观。再不济，也能够成为荣誉奖、星星奖之类，要搞得恰当了，直接拿A也不是梦想。当然，如果没能发现金子，一无所获的可能性也很大。收益和风险是成正比的，淘金人在这个阶段一定要能够沉下心来，冷静思考。楼上提了这么多Hint，那个地方还比较薄弱？整个项目统观下来，还有哪里有薄弱的？你在思考，项目经理也在思考，验证经理也在思考，SE也在思考。如何超越项目经理、SE、验证经理的思考发现金子？我非常、非常难以回答。提供我已有的两个经验是：1）反向思考。最后阶段，大部分人员的思路都已经固化了，像一条绳子一样，不断的朝一个方向缠绕、缠绕。反向的思考往往能突破这个限制。当然，反向思考这个东西，很多时候就是忽悠，难以做到。我的一个经验是可以多听取一下局外人的一些意见，例如软件人员的意见。当然，这其中大部分的意见都是无关痛痒的瞎扯，但偶尔、偶尔会出现一些能够引发进一步思索的缺口。2）和谐。这里没有任何问题，芯片运作一切正常，没有任何差错。但是你拿着架构图看、或者拿着时钟结构图看、或者打开最复杂的ST波形看，心中却总是有一种说不清道不明的感觉，没错，虽然一切正常，但是某个地方，却有那么一点点不和谐，就像合唱团中插入了一个走调的家伙一样。可能是非常微妙的一个路径，可能是波形上非常诡异的一个脉冲。对了，就是这个地方，追下去，即使工作正常，这里也可能存在和设计意图不符的东西存在。开门红：根据规格分解FeatureList，根据FeatureList对应TC，然后再一条一条仿真TC反过来映射FeatureList和规格。没错，这是最通常的做法，可惜我不这样做。世间有80：20原则，验证也是，80%的问题都可以通过20%的测试和时间去发现和解决，而剩余20%的问题需要80%的测试和时间去解决。所以，按照我的思路，会有几个最初级的TC，可以用来测试最基本的通路能否冒烟，DocumentTitleSecurityLevel:2020-03-24HUAWEIConfidentialPage5,Total16这几条TC，可以划归到TCList中，也可以不划归。然后，一定有一条开门的TC，这是一条复杂的DirectedTC，一条可以覆盖70%的Feature的TC。这条TC并不负责任何Corner、异常覆盖，不做任何特殊的思考，一切都是直接对Feature的连续描述（也可以是若干条TC的直接串联），因此即使有些许问题，修改的难度也比较低。这条TC能够帮助设计人员定位超过70%的问题，如果设计人员足够聪明，这个TC可以解决90%的问题。这条TC的寿命可能将超过一个月，这一个月足够设计人员在其中沉沉浮浮，使得代码达到95%的交付情况。而验证人员在这一个月中，有足够的时间完善Corner的TC、Random的TC和环境，然后集中精力完成剩下10%问题的解决。检视：代码检视是最容易发现问题的步骤，从写第一行代码开始，到最后一个Tag结束