决策理论6

第六章序贯决策分析第一节多阶段决策一、多阶段决策问题•在经济活动中，常常遇到这样的决策问题，由于它的特殊性，需要将过程分为若干个相互联系的阶段，在它的每一个阶段都需要做出决策，从而使整个过程达到最好的活动效果。当各个阶段决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动路线，这种把一个问题可看作是一个前后关联的具有链状结构的多阶段过程就称为多阶段决策过程。第一节多阶段决策•二、多阶段决策方法•解决多阶段决策问题的主要方法是决策树方法和动态规划方法，决策树由节点和分支组成，每一条由树根通往树梢的路线都表示一种决策方案及可能遇到的一种情况。•进行决策分析时，要由树梢往树根依次计算。这种从后到前进行决策分析的方法叫做逆序归纳法。•多阶段决策分析的步骤：•（1）根据具体问题适当划分阶段；•（2）确定各阶段的状态变量，寻找各阶段之间的联系；•（3）由后到前用逆序归纳法进行决策分析。第一节多阶段决策•三、应用举例例6-1离散情况决策分析。某企业考虑是否花费4000元钱从某科研机关购买某项技术然后产销新产品。如果买技术，可以进行大批生产（a1），中批生产（a2），或小批生产（a3），可能出现的市场销售情况也分为畅销（）一般（）和滞销（）三种。其收益（利润，元）矩阵如表6-1123第一节多阶段决策表6-1某公司产销新产品的收益矩阵第一节多阶段决策为了更正确地了解市场情况，正式投产前可先生产少量产品试销。由于要增添少量生产设备等原因，试销费需要600元。由于试销前未作广告，顾客对产品不太了解，加之试销量较小，试销结果不很准确。假设试销结果分为产品受欢迎（H1），一般（H2）和不受欢迎（H3）三种，其准确度（似然分布矩阵）见表6-2所示。第一节多阶段决策表6-2试销结果的准确度第一节多阶段决策•如不买此项技术，把这笔费用用在其他方面，在同样的时期可获利8000元。那么，该公司应该如何决策？•（1）是否买技术？•（2）如果买技术，是否采取试销办法？•（3）如果不试销，应大批生产，中批生产还是小批生产？如果试销，又应该如何根据试销结果决定其行动？第一节多阶段决策例6-2连续情形的决策分析。某工厂现有10万元资金可供生产某种产品使用，生产过程有两个方案可供选择。方案1：每万元资金，每年可产生0.5万元的利润，年产量为2000吨。方案2：每万元资金，每年可产生0.2万元的利润，年产量为3000吨。每年可用一部分资金采取一种方案生产，另外一部分资金采取另一种方案进行生产，但一年内不变。假设前一年的利润可作为下一年的资金在两个方案间再行分配，但一个方案前一年的资金不得在下一年向另一方案转移。那么，为使四年内的总产量最高，该厂在这四年中应该如何分配资金？第二节序贯决策•有些决策问题，在进行决策后又产生一些新情况，需要进行新的决策，接着又有一些新的情况，又需要进行新的决策。这样决策、情况、决策…，就构成一个序列，这就是序列决策。解决序列问题的有利办法仍然是决策树。例6-3设有某石油勘探队，在一片估计能出油的荒田钻探，可以先做地震试验，然后决定钻井与否。或者不做地震试验，只凭经验决定钻井与否。做地震试验的费用每次30000元，钻井费用为10000元。若钻井后出油，这井队可收入40000元；若不出油就没有任何收入。各种情况下出油的概率已估计出，并标在图6-2上。问钻井队的决策者如何做出决策使收入的期望值为最大。第二节序贯决策图6-2原决策树第三节马尔可夫决策•一、马尔可夫决策问题•决策问题采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。。其中一种最简单、最基本的情形，是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而与更早的状态无关，这就是所谓的马尔可夫链。•利用马氏过程分析系统当前状态并预测未来状态的决策方法，称为马尔可夫决策。第三节马尔可夫决策•二、马尔可夫链与转移概率矩阵•随机过程如果对任意都存在•则称具有马尔可夫性•条件概率称为转移概率，也称一步转移概率。,),(TttX,,21Tttttin111111)(|)()()(|)(nnnnnnxtxytxPxtxxtxytxPTttX),(ixjxPnn1|第三节马尔可夫决策•各状态之间的转移概率可记为•其中，对所有i；且，对所有i,j，称P为一步转移概率矩阵。•定义：如果随机过程满足下述性质，则称是一个有限状态的马尔可夫链（Markov）。kkkkppppP11111jijp0ijp,,1,0,tXttX第三节马尔可夫决策•（1）具有有限种状态；•（2）具有马尔可夫性；•（3）转移概率具有平稳性。第三节马尔可夫决策•三、稳态概率•称为稳态概率。•且•因此我们可以从n步转移矩阵的极限取得稳态概率分布jxPPnnnjnjlimlim)(jnnnnjxPixjxPlim|lim0PPPnn1PPPnnnn1)(limlimn第三节马尔可夫决策•得•记，则，且•此方程组为稳态方程Pkkkkkk111111k21P11kii第三节马尔可夫决策•四、马尔可夫应用实例例6-6某生产商标为的产品的厂商为了与另外两个生产同类产品和的厂家竞争，有三种可供选择的措施：（1）发放有奖债券；（2）开展广告宣传；（3）优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是第三节马尔可夫决策已知三种商标的商品的月总销售量为一千万件，每件可获利1元。另外，三种措施的成本费分别为150万，40万，30万。为长远利益考虑，生产商标为的产品的厂商应该采取何种措施？30.040.030.035.045.020.005.015.080.01P75.015.010.010.080.010.005.005.090.02P75.015.010.010.080.010.005.005.090.03P第三节马尔可夫决策•例6-7我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表6-5、表6-6所示。假定上一年处于畅销状态，每年的广告费为15万元。为了保证今后3年的利润最大化，是否应该采用广告措施？•例6-8在上例中，如果每年是否采取广告措施可根据上一年的经营情况确定。那么，应该如何决策？第三节马尔可夫决策畅销滞销畅销0.80.2滞销0.40.6畅销滞销畅销0.90.1滞销0.70.3表6-3不采取广告措施表6-4采取广告措施第四节群决策简介•一、群决策概念•在现实生活中，决策往往是群体行为，是由多人参加进行行动方案的选择活动。这些组织的成员、代表就是群体决策者中的一员。作为群体决策，其决策程序、决策评价标准与单个决策者的决策有很大的差异，在决策原则、方法、许多方面都有新的内容，因而应用单个决策者的决策方法进行群决策在许多方面都受到了限制。•第四节群决策简介•群体决策理论研究的问题一般具有三个前提：①自主性。决策者有独立选择机会，其行动不受较高层权利的支配，但不排除群体成员间相互影响。②共存性。决策成员都在已知的共同条件下进行选择。③共意性。群体做出的必然是所有参与者一致能够接受的方案。第四节群决策简介•群体决策研究比个人决策研究要复杂很多。这主要由几个因素引起：①优先度。集体中每个成员都有各自的目标和优先观念以及不同的效用函数。②主观概率判断。群体中各成员由于信息的感受和处理方式不一样，对未来状态出现概率的估计也不同。③沟通。集体决策可以在完全没有沟通信息的情况下进行，而更多的决策是在有相互沟通信息的情况下进行。第四节群决策简介•二、群体决策的有效程度•（一）群体决策的有利因素•群体决策所需运用的知识和信息，可从群体中取得。参加群体决策的决策者往往也是决策的执行人，因而决策就成为大家的决议，从而能为更多成员所接受。•（二）群体决策的不利因素在群体里制定决策时，每个成员在表态时往往有一定的压力。“固执己见”也是群体决策中的一个障碍。第四节群决策简介•（三）群体决策与个人决策的对比•（1）决策的正确性：群体决策比较切合实际。•（2）决策的速度：群体决策需要比个人决策花费更多的时间。•（3）决策的创造性：个人决策具有较大的创造性。•（4）决策的风险性：会出现群体决策的极化现象。第四节群决策简介•三、群体决策的规则：简单多数规则•简单多数规则即少数服从多数，尽管少数并不满意此方案，但由于某种约束或者有其他受益，而愿意继续留在此集体内并认同方案的实施。•这种简单多数规则在运用中视具体环境而有不同形式。例如联合国安理会提案通过的常任理事国一票否决。•个人选择符合传递性规则的话，群体决策结果却无法符合传递性。这样，选择的顺序将影响到选择结果，理性选择是难以相容的。这个有名的悖论是南逊（E.J.Nanson）1882年提出的。第四节群决策简介•法国数学家康多西特（M.Condorcet）在18世纪也注意到多数原则的相悖结论，提出了成对比较的规则。•18世纪法国的另一位数学家波德（J.C.deBorda）则提出反映优先强度的排序规则。波德规则在实用时亦会出现相悖的情况。一是由于波德规则的结果和方案数相关。另一个原因是波德数未提供优先强度的信息。第四节群决策简介•以上各种决策规则都反映了人们对于一种通用的公平的群体决策规则的追求。这种需要是显而易见的，有集体就有如何公平合理地反映集体意见的问题。50年代，阿罗等人证明了社会选择并不能在完全符合理性的条件下将个人选择顺序集结为群体的选择顺序，少数服从多数的规则并不能提供一个令人满意的社会选择顺序。第四节群决策简介四、常用的群决策方法及应用实例•（一）委托求解法•假设：第一，群中各成员对选择权都负有责任；第二，群中各成员对选择权的值各有各的意见。1.委托过程还必须满足以下三点公设。（1）（委托公设）群的n个成员中的每一个人，都有一委托小组，这个小组是由群中其余n-1个成员组成.成员i对委托小组每个成员j指定一个权数，有ijP第四节群决策简介当且仅当i=j时，，并且（2）（决策公设）每个委托小组都有一形式为的群效用函数，对方案进行排队，权数按委托公设确定。（3）（代替公设）用联系到成员i的委托小组的群效用函数去代替成员i的效用函数，每次替代均作为委托求解的一个步骤),,2,1,(,10njipij),2,1(,11nipnjij0ijpniiixUxU1)()(ijP第四节群决策简介2．委托求解法的步骤假设成员i知道其他每个成员的效用函数，不知道其他成员设定的权.成员i能够根据其他成员的效用函数选择权，使这些效用函数的组合几乎能够反映成员i的偏好。),,1(njpij第四节群决策简介（1）设成员i对他委托的小组中各成员的效用，指定的权系数为，则成员i的效用函数用委托组的群效用函数代替，即（2）将步骤（1）得到的效用函数作为各成员的效用函数，一般仍用原设定的权系数，第二步再产生成员i的新的委托效用函数),2,1(,11niupunjojiji),2,1(,110)2(12niupupunjnjjijjijioju),,1(njpij1iuijp1iu第四节群决策简介•（3）继续上面的委托过程，则成员i第k步的委托效用函数•如果的每个分量均收敛，委托过程将产生唯一的群效用函数。即),2,1(,10)(11niupupunjjkijnjkjijkikunjjkki