决策理论与方法-第6章序贯决策分析

第六章序贯决策分析6.1多阶段决策6.2序贯决策6.3马尔可夫决策6.4群决策简介6.1多阶段决策一、多阶段决策问题在经济活动中，常常遇到这样的决策问题，由于它的特殊性，需要将过程分为若干个相互联系的阶段，在它的每一个阶段都需要做出决策，从而使整个过程达到最好的活动效果。当各个阶段决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动路线，这种把一个问题可看作是一个前后关联的具有链状结构的多阶段过程就称为多阶段决策过程。6.1多阶段决策二、多阶段决策方法解决多阶段决策问题的主要方法是决策树方法和动态规划方法。（1）根据具体问题适当划分阶段；（2）确定各阶段的状态变量，寻找各阶段之间的联系；（3）由后到前用逆序归纳法进行决策分析。6.1多阶段决策三、应用举例例6-1离散情况决策分析。某企业考虑是否花费4000元钱从某科研机关购买某项技术然后产销新产品。如果买技术，可以进行大批生产（a1），中批生产（a2），或小批生产（a3），可能出现的市场销售情况也分为畅销（）一般（）和滞销（）三种。其收益矩阵如下表所示：1236.1多阶段决策三、应用举例6.1多阶段决策三、应用举例为了更正确地了解市场情况，正式投产前可先生产少量产品试销。由于要增添少量生产设备等原因，试销费需要600元。由于试销前未作广告，顾客对产品不太了解，加之试销量较小，试销结果不很准确。假设试销结果分为产品受欢迎（H1），一般（H2）和不受欢迎（H3）三种，其准确度（似然分布矩阵）如下表：6.1多阶段决策三、应用举例6.1多阶段决策三、应用举例如不买此项技术，把这笔费用用在其他方面，在同样的时期可获利8000元。那么，该公司应该如何决策？（1）是否买技术？（2）如果买技术，是否采取试销办法？（3）如果不试销，应大批生产，中批生产还是小批生产？如果试销，又应该如何根据试销结果决定其行动？6.1多阶段决策三、应用举例例6-2连续情况决策分析。某种设备可在高低两种不同的负荷下进行生产，设在高负荷下投入生产的设备数量为x,产量为g=10x，设备年完好率为a=0.75；在低负荷下投入生产的设备数量为y，产量为h=8y，年完好率为b=0.9。假定开始生产时完好的设备数量为100。制定一个五年计划，确定每年投入高、低两种负荷下生产的设备数量，使五年内产品的总产量达到最大。6.1多阶段决策三、应用举例例6-3某工厂现有10万元资金可供生产某种产品使用，生产过程有两个方案可供选择。方案1：每万元资金每年可产生0.5万元的利润，年产量为2000吨。方案2：每万元资金每年可产生0.2万元的利润，年产量为3000吨。每年可用一部分资金采取一种方案生产，另外一部分资金采取另一种方案进行生产，但一年内不变。假设前一年的利润可作为下一年的资金在两个方案间再行分配，但一个方案前一年的资金不得在下一年向另一方案转移。那么，为使四年内的总产量最高，该厂在这四年中应该如何分配资金？6.2序贯决策一、序贯决策问题有些决策问题，在进行决策后又产生一些新情况，需要进行新的决策，接着又有一些新的情况，又需要进行新的决策。这样决策、情况、决策…，就构成一个序列，这就是序贯决策。与多阶段决策中阶段数确定相比，序贯决策中决策过程阶段数并不明显，也没有明确的结束阶段，其决策阶段数依赖于决策过程中出现的状况。6.2序贯决策二、序贯决策例子例6-4设有某石油勘探队，在一片估计能出油的荒田钻探，可以先做地震试验，然后决定钻井与否。或者不做地震试验，只凭经验决定钻井与否。做地震试验的费用每次3000元，钻井费用为10000元。若钻井后出油，这井队可收入40000元；若不出油就没有任何收入。各种情况下出油的概率已估计出，并标在下图中。问钻井队的决策者如何做出决策使收入的期望值为最大。6.2序贯决策二、序贯决策例子例6-5产品抽样检验问题。某工厂的产品每1000件装成一箱出售。每箱中产品的次品率有0.01，0.4，0.9三种可能，其概率分别是0.2、0.6、0.2。现在的问题是：出厂前是否要对产品进行严格检验，将次品挑出。可以选择的行动有两个：整箱检验，检验费为每箱100元；整箱不检验。如果顾客在使用中发现次品，每件次品除调换为合格品外还要赔偿0.25元损失费。6.2序贯决策二、序贯决策例子为了更好地作出决策，可以先从一箱中随机选取1件作为样本检验，然后根据这件产品是否次品决定该箱是否要检验，也可以再选取1件进行第二次抽样检验，如此继续下去。抽样1件的成本为4.2元。请用决策树对此序贯决策问题进行分析。第六章序贯决策分析6.1多阶段决策6.2序贯决策6.3马尔可夫决策6.4群决策简介6.3马尔可夫决策一、马尔可夫决策问题决策问题采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可能处在不同的状态，而这些状态发生的概率又可能受前面时期实际所处状态的影响。一种最简单、最基本的情形，是当前时期状态参数的概率分布只与前一时期实际所处的状态有关，而与更早的状态无关，这就是马尔可夫过程。6.3马尔可夫决策二、马尔可夫链与转移概率矩阵随机过程如果对任意都存在(),XttT12,()nittttT111111()|(),,()()|()nnnnnnnnPxtsxtsxtsPxtsxts则称具有马尔可夫性。(),XttT条件概率称为转移概率，也称一步转移概率，记为。1|nnPxjxi如果转移概率与时刻n无关，则称转移概率具有平稳性（齐次性）。1|nnPxjxi()ijpn6.3马尔可夫决策二、马尔可夫链与转移概率矩阵各状态之间的转移概率可记为1111kkkkppppP其中，对所有i,j有，且，称P为一步转移概率矩阵。11kijjp0ijp6.3马尔可夫决策二、马尔可夫链与转移概率矩阵称条件概率为马尔可夫链的n步转移概率矩阵。其中}{)(iXjXPpmnmnij为马尔可夫链的n步转移概率，并称()()()nnijpP1,0)()(Ijnijnijpp6.3马尔可夫决策二、马尔可夫链与转移概率矩阵设为马尔可夫链，则对任意正整数n，和状态，n步转移概率具有下列性质}0,{nXn0lnIji,（1）（Chapman-Kolmogrov方程）Iklnkjliknijppp)()()(（2）IkjkkkikIknijnnpppp112111)(（3）(n)(n1)PPP（4）(n)nPP6.3马尔可夫决策三、稳态概率称为具有遍历性的马尔可夫链，常数称为稳态概率。j0lim|limnnjnnPxjxiPxj如果对于所有的，存在与i无关的极限,1,2,,ijN{,0}nXn6.3马尔可夫决策三、稳态概率马尔可夫链遍历性判定定理()0sijp设为有限状态齐次马尔科夫链，为其一步转移概率矩阵，如果存在正整数s0，使得对于所有，有,1,2,,ijN{,0}nXnP则此马尔科夫链具有遍历性，且其稳态概率为方程组1njiijip在条件下的唯一解。10,1njii6.3马尔可夫决策四、马尔可夫应用实例例1某产品厂商A为了与另外两个生产同类产品的厂家B和C竞争，有三种可供选择的措施：（1）发放有奖债券；（2）开展广告宣传；（3）优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是10.800.150.050.200.450.350.300.400.30P20.900.050.050.100.800.100.100.150.75P30.900.050.050.100.800.100.100.150.75P6.3马尔可夫决策四、马尔可夫应用实例已知三种商标的商品的月总销售量为一千万件，每件可获利1元。另外，三种措施的成本费分别为150万，40万，30万。为长远利益考虑，厂商A应该采取何种措施？6.3马尔可夫决策四、马尔可夫应用实例例2我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表1、表2所示。表1不采取广告措施畅销滞销畅销0.80.2滞销0.40.6畅销滞销畅销0.90.1滞销0.70.3表2采取广告措施6.3马尔可夫决策四、马尔可夫应用实例假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？如果每年是否采取广告措施可根据上一年的经营情况确定，又应该如何决策？6.3马尔可夫决策一、马尔可夫决策问题决策问题采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可能处在不同的状态，而这些状态发生的概率又可能受前面时期实际所处状态的影响。一种最简单、最基本的情形，是当前时期状态参数的概率分布只与前一时期实际所处的状态有关，而与更早的状态无关，这就是马尔可夫过程。6.3马尔可夫决策二、马尔可夫链与转移概率矩阵随机过程如果对任意都存在(),XttT12,()nittttT111111()|(),,()()|()nnnnnnnnPxtsxtsxtsPxtsxts则称具有马尔可夫性。(),XttT条件概率称为转移概率，也称一步转移概率，记为。1|nnPxjxi如果转移概率与时刻n无关，则称转移概率具有平稳性（齐次性）。1|nnPxjxi()ijpn6.3马尔可夫决策二、马尔可夫链与转移概率矩阵各状态之间的转移概率可记为1111kkkkppppP其中，对所有i,j有，且，称P为一步转移概率矩阵。11kijjp0ijp6.3马尔可夫决策二、马尔可夫链与转移概率矩阵称条件概率为马尔可夫链的n步转移概率矩阵。其中}{)(iXjXPpmnmnij为马尔可夫链的n步转移概率，并称()()()nnijpP1,0)()(Ijnijnijpp6.3马尔可夫决策二、马尔可夫链与转移概率矩阵设为马尔可夫链，则对任意正整数n，和状态，n步转移概率具有下列性质}0,{nXn0lnIji,（1）（Chapman-Kolmogrov方程）Iklnkjliknijppp)()()(（2）IkjkkkikIknijnnpppp112111)(（3）(n)(n1)PPP（4）(n)nPP6.3马尔可夫决策三、稳态概率称为具有遍历性的马尔可夫链，常数称为稳态概率。j0lim|limnnjnnPxjxiPxj如果对于所有的，存在与i无关的极限,1,2,,ijN{,0}nXn6.3马尔可夫决策三、稳态概率马尔可夫链遍历性判定定理()0sijp设为有限状态齐次马尔科夫链，为其一步转移概率矩阵，如果存在正整数s0，使得对于所有，有,1,2,,ijN{,0}nXnP则此马尔科夫链具有遍历性，且其稳态概率为方程组1njiijip在条件下的唯一解。10,1njii6.3马尔可夫决策四、马尔可夫应用实例例1某产品厂商A为了与另外两个生产同类产品的厂家B和C竞争，有三种可供选择的措施：（1）发放有奖债券；（2）开展广告宣传；（3）优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是10.800.150.050.200.450.350.300.400.30P20.900.050.050.100.800.100.100.150.75P30.900.050.050.100.800.100.100.150.75P6.3马尔可夫决策四、马尔可夫应用实