人工智能与技术分析

敬请参阅报告结尾处免责声明1金融工程研究T_ReportAbstract人工智能与技术分析基于支持向量机的技术分析对上证综指的预测报告关键点：¾技术分析具有一定的信息含量。报告摘要：¾应用支持向量机对K线数据及交易量数据进行识别后对后一周的涨跌预测准确率在63.45%。按照这个预测进行投资的策略年化收益率为28.69%，而同期上证综指的年化收益率为20.41%。金融工程主题报告T_ReportDate报告日期2010-04-29T_Analyst研究员曾长兴金融工程分析师证书编号S1450209090275柴宗泽金融工程分析师封面图表一0500100015002000250030003500400045002006-04-282006-07-072006-09-082006-11-172007-01-192007-03-302007-06-012007-08-032007-10-122007-12-142008-02-152008-04-182008-06-202008-08-222008-10-312008-12-312009-03-132009-05-152009-07-172009-09-182009-11-202010-01-22预测错误指数累计收益预测累计收益数据来源：安信证券研究中心T_RelatedReport前期研究成果期现套利：缜于思，慎于行四维视角下的大小盘风格轮动T_Analysts金融工程研究团队付强首席金融工程分析师[e-mail]曾长兴金融工程分析师[e-mail]常科丰金融工程分析师[e-mail]任瞳金融工程分析师[e-mail]潘凡金融工程分析师[e-mail]柴宗泽金融工程分析师[e-mail]吴卓凌助理金融工程分析师[e-mail]金融工程主题报告敬请参阅报告结尾处免责申明2技术分析是一种伴随着资本市场产生的古老的分析方法。技术分析的理念就是股票的交易价格和交易量里包含着未来股价走势的信息，通过分析过去的交易数据可以预测未来的价格走势。技术分析发展起来了很多种不同的分析方法，据说有上万种之多，令人眼花缭乱。每一种方法在市场上也都有着自己的信众。但是，技术分析在金融学的学术研究中始终没有被重视，一个重要的原因也是技术分析的判断具有很大的主观性和任意性。有效市场假说的提出，也给了技术分析很致命的打击。有效市场假说的逻辑是很强的，就是如果技术分析能够预测出未来的价格走势，则今天的价格就会立刻反应出这个信息，从而使预测的涨跌幅消失。有效市场假说应该说是经济学理论里边影响最大的学说之一，也经历了很多实证研究的检验。虽然有效市场假说的逻辑是如此之强，但是技术分析依然在实践中受到很多人的重视，包括一些非常专业的交易员和投资者，这看上去是很令人费解的。行为金融学的兴起为技术分析提供了一些理论上和实证上的根据。在行为金融学看来，投资者并不是完全理性的，而是有限理性的。信息在投资者中间的传播是一个逐渐的过程，而不是一步到位。另外，即便是接受到相同的信息，不同的投资者也有不同的解读，会得出不同的判断。而且，投资者在很多情况下的行为并不是理性的，而是具有很强的冲动性，也就是凯恩斯所说的“动物精神”，行为金融学也发现了一些诸如羊群效应等投资者的非理性行为模式。Grossman和Stiglitz(1980)从理论上说明了完全有效的市场是不可能的。因为如果大家都相信有效市场假说，而不去研究各种信息，则这时候去研究信息就会得到超额收益；如果大家都去研究信息，这时候信息就会如有效市场假说所说的那样迅速反映到价格中，超额收益就会消失。这就是Grossman-Stiglitz悖论。就像如果大街上有一张百元大钞，如果大家都觉得市场是有效的，现在大街上扔了一张钞票没人捡则一定是假的，那如果有人去捡了，他就有可能捡到这钱；如果大家都去满大街找钱捡，则市场又会回到接近于有效的情况，因为大街上的钱真的很少。所以实际的情况可能是一种动态的平衡，市场也是出于一种相对有效的状态。就像汽车发动机的能量效率并不是如理想状态下的100%，而是在一定的百分比下。一些比较新近的实证研究也发现股票市场具有一定的可预测性，并不是完全如有效市场假说所描述的。就技术分析而言，最新的学术研究也提出了一定的支持证据。AndrewW.Lo，HarryMamaysky和JiangWang(2000)用核回归的方法对各种技术形态进行识别并考察其信息含量，发现技术形态如双肩，双底等的确含有一定的信息。技术分析具有一定的实践价值。在上世纪90年代，一些新兴的人工智能技术被华尔街引入，应用于市场信息的处理，如人工神经网络，遗传算法等等。由于股票市场的价格表现出一定的非线性的特征，所以这些更加复杂的统计学习技术有可能更好地挖掘出市场价格里所包含的信息。人工智能技术曾经在华尔街上风靡一时，但是，逐渐的人们也认识到了一些人工智能的缺陷，人工智能并不是万能的。但是，虽然人工智能不是人们刚开始想象的那敬请参阅报告结尾处免责申明3样无所不能，这种技术应该在信息处理方面也有它的优势，将人工智能与人的判断结合起来应该能够提高市场的信息效率。在这些人工智能技术中，一种比较新的技术叫做支持向量机SVM(SupportVectorMachines)，该技术最近在各种预测和分类等研究中得到了广泛的应用。SVM是由Vapnik领导的AT&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，因此这些研究一直没有得到充的重视。直到90年代，一个较完善的理论体系——统计学习理论(StatisticalLearningTheory，简称SLT)的建立和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM得以迅速地发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。关于支持向量机的理论描述可以参考VladimirN.Vapnik所著的《TheNatureofStatisticalLearningTheory》。本报告中我们尝试把SVM技术应用于技术分析来预测上证综指的涨跌情况。我们的数据为2000年1月7日到现在的上证综指周K线数据，共计507个样本点。先对K线数据进行处理以去掉其中的绝对数值，只留下相对点位，即以开盘点位为基准，取本周最高点位与开盘点位差值作为最高点位的表征，同样，最低点位与开盘点位的差值作为最低点位的表征，收盘点位与开盘点位的差值作为收盘点位的表征，本周开盘点位与上周收盘点位的差值作为本周开盘点位的表征。此外还加入了本周涨跌幅，这个指标与其他指标之间有一定的函数关系，但是考虑到SVM在处理非线性关系方面的出色能力，所以这种函数关系应该不会影响预测效果的。另外，技术分析中通常对交易量也非常重视，所以这里把每周的换手率也加入进来。这样总共得到6个指标。把某一时点前10周的这6个指标放到一起作为自变量，也就是SVM的输入向量，来预测下一周的指数的涨跌情况。做10期的之后以后，就剩下498个观测点，每个观测点有61个分量。考虑到技术分析经常只是对涨跌的方向作判断，一般不会预测具体的涨跌幅度。所以我们把每周的涨跌幅标准化为0-1值作为涨跌类别的表示，也就是被预测变量。其中1表示上涨，0表示下跌。实际上我们是在做一种分类，也就是通过训练SVM使之能够识别前10周的K线数据以及换手率，P/E值等在怎样的形态下对应下一周的上涨，怎样的形态下对应下跌，然后对以后一周的涨跌做出预测。在做SVM的训练之前先对数据标准化，标准化的方法为)min(x-)max(x)min(x-xxˆiiiii=，其中)max(xi为某一个指标在所有这些时期的最大值，)min(xi为对应的最小值。有了这些数据以后，我们先拿刚开始的300个数据对SVM进行训练，训练完以后用第301个自变量对302周的指数涨跌进行预测。之后再用第2到301个数据重新训练SVM，训练完了用金融工程主题报告敬请参阅报告结尾处免责申明4第302个自变量对第303期回报进行预测，如此滚动训练和预测。计算是用Matlab进行的，并采用了台湾大学林智仁先生开发的Libsvm软件包，其中，和函数中的参数gama设为0.5，其他参数全部为默认的。我们总共预测了197周的指数涨跌，正确的次数为125次，正确率在63.45%。这就说明，技术指标里确实含有一些有用的信息。用技术指标预测未来具有一定的统计可靠性。图1比较了指数的涨跌幅和根据预测结果进行投资的累积回报。具体的方法是从2006年4月28日在两个账户里各投入1000元钱，第一个账户采取持有指数的策略。第二个账户根据预测结果进行调整，具体讲就是如果预测下周指数上涨则持有指数，如果预测下周指数下跌则空仓。计入单边交易费用0.6%。图中红色的线是根据预测进行调仓投资的累积收益，蓝色的线是指数的累积收益，灰色的竖线是表示预测错误的周。灰色竖线密集的地方表示预测错误比较多的时候。从图中可以看出，在考虑了交易费用之后，预测策略刚开始甚至略输给指数，之后才逐渐的跑赢大盘。如果一直坚持到2010年3月19日，则预测策略的总的点位在2742.9，指数点位在2101.9。预测策略的年化收益率为28.69%，而同期指数的年化收益率为20.41%。预测策略跑赢了大盘。这说明了两个问题，第一，量化的策略需要长期坚持；第二，技术分析的预测是有一定的参考价值的。当然，需要强调的是，我们的研究只是说明基于人工智能的技术分析预测是有价值的。由于统计学习技术本身存在的一些问题，如参数敏感性等等，在实际的投资中，比较稳妥地方法是将这种先进的人工智能技术与古老的技术分析结合得到的结论作为一种参考，同时要考虑宏观经济等基本面分析，综合做出最终的投资决策可能效果要比单纯依赖于技术分析更好。技术分析具有信息上的增量参考价值，而不能代替人的判断。图1预测投资和指数累积回报比较0500100015002000250030003500400045002006-04-282006-07-072006-09-082006-11-172007-01-192007-03-302007-06-012007-08-032007-10-122007-12-142008-02-152008-04-182008-06-202008-08-222008-10-312008-12-312009-03-132009-05-152009-07-172009-09-182009-11-202010-01-22预测错误指数累计收益预测累计收益数据来源：安信证券研究中心敬请参阅报告结尾处免责申明5作者简介T_AuthorInfo曾长兴经济学硕士，金融学博士生，2004.7-2006.9任职于广东证券研发中心，2006.10加入安信证券研究中心。柴宗泽，金融工程分析师，CFA，北京大学光华管理学院金融博士，之前在中央财经大学工作，2009年加盟安信证券研究中心。免责声明本研究报告由安信证券股份有限公司研究中心撰写,研究报告中所提供的信息仅供参考。报告根据国际和行业通行的准则，以合法渠道获得这些信息，尽可能保证可靠、准确和完整，但并不保证报告所述信息的准确性和完整性。本报告不能作为投资研究决策的依据，不能作为道义的、责任的和法律的依据或者凭证，无论是否已经明示或者暗示。安信证券股份有限公司研究中心将随时补充、更正和