刘颖-基于互联网数据的社会经济预测

中国科学院大学管理学院刘颖微信：[e-mail]2014年8月基于互联网数据的社会经济预测研究2主要内容•大数据应用的三个层级•透视电商交易背后的用户行为规律•基于网络数据的股票市场预测•百度中小企业景气监测研究•未来研究展望3大数据经济领域应用的三个层级微观层面：企业推动，精准营销、生产运营Target超市怀孕商品精准定位、1号店Amazon一年500亿美元销售额中，关联推荐占1/3；本人的研究项目：淘宝网购买力提升研究——获得阿里巴巴“最佳学者”称号淘宝网购物达人挖掘中观层面：典型行业典型行业的销售预测：电商、汽车、地产、物流、旅游……基于网络搜索数据的股票市场预测宏观层面：宏观经济指标的反映、预测美国失业率的预测美国消费者信心指数的构建CPI、中小企业景气4透视电商交易结果背后的用户行为规律微观层面的研究实例网购市场繁华背后，用户完成交易走过了哪些路径？不同类型的用户，适合于哪种营销方式？5日志数据2007-08-1200:00:20220.170.199.69-218.249.32.14080GET/bookshop/bookinfo.aspbookcode=TN009760%20&booktype=main200Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)2007-08-1200:01:22220.170.199.69-218.249.32.14080GET/bookshop/bookinfo.aspbookcode=TN009760%20&booktype=main200Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)6用户购买行为研究数据来源:某图书网站日志数据（2008年6月17日—6月25日）数据量：约8G访问次数：约8千万基于日志数据的用户访问路径分析7某图书网站的页面分类站内搜索(S)主题书店T图书种类K畅销书作家U订单成功(y)热门出版社P特色专题J周三抢购B首页(H)图书最终页面(I)购物车(C)帐户(A)订单(O)重点推荐（部分帮助(L)订单删除(n)本周销售排行专业书店（部分(商品购买)搜索引擎导入(商品查找)导航首页推广基于日志数据的用户访问路径分析数据来源:某图书网站日志数据（2008年6月17日—6月25日）8访问路径的识别类型用户访问路径无购买1I2HATATTHH3ISAICCCKASA购买4IHASASASACCCACSAIIAACCOAOyIIIII5ILAAIIIAAAAAAAAHAHASAICCCOAOOOOLOOOAy6HAOAAOAAAOCCOAOOOyAAAA基于日志数据的用户访问路径分析9当前状态HTKUPJSCAOynLIM先前状态H5%0%0%0%0%0%1%0%89%1%0%0%0%2%0%T2%47%2%0%5%1%2%3%24%0%0%0%0%15%0%K0%1%25%0%11%0%0%1%36%0%0%0%0%24%0%U0%5%10%20%11%0%0%0%5%0%0%0%0%46%2%P0%1%8%0%39%1%1%3%4%0%0%0%0%40%3%J1%6%3%0%6%25%3%8%7%1%0%0%2%35%2%S0%1%0%0%0%0%19%0%72%0%0%0%0%7%0%C0%2%1%0%4%1%3%64%8%9%0%0%0%7%0%A2%4%16%0%2%1%22%11%27%7%0%0%1%7%0%O2%1%0%0%0%0%1%4%33%52%4%1%2%1%0%y13%4%1%0%0%0%4%7%12%44%4%0%5%5%0%n2%0%0%0%0%0%0%4%6%55%0%33%0%0%0%L3%2%0%0%1%3%5%4%10%8%0%0%55%6%2%I0%1%4%0%8%1%2%2%2%0%0%0%0%75%5%M7%2%0%0%6%1%0%0%0%0%0%0%0%61%22%初始状态4%1%0%0%2%0%0%0%1%0%0%0%0%86%4%结束状态1%1%1%0%2%1%1%1%4%1%0%0%1%86%0%假设先前状态为i，当前状态为j，所有路径中i到j的转换次数记为Nij：定义前向概率：ij15ijj1NN前向概率前向概率以先前状态为基点（i不变），计算i下一步转换到j的概率。10当前状态HTKUPJSCAOynLIM先前状态H9%0%0%1%0%1%0%0%11%1%0%0%1%0%0%T4%46%1%0%2%3%1%1%4%0%0%0%1%1%0%K1%2%25%16%8%2%1%1%15%0%0%0%0%4%1%U0%0%0%22%0%0%0%0%0%0%0%0%0%0%0%P1%4%10%21%39%6%2%3%2%0%0%0%1%8%7%J1%2%0%0%1%20%1%1%0%0%0%0%3%1%1%S1%1%0%0%0%0%19%0%26%0%0%0%1%1%0%C2%6%1%2%3%4%4%63%4%17%0%0%3%1%0%A21%21%37%9%4%13%58%20%25%27%9%2%12%2%1%O5%1%0%0%0%0%1%2%8%49%87%62%10%0%0%y1%0%0%0%0%0%0%0%0%1%3%0%1%0%0%n0%0%0%0%0%0%0%0%0%1%0%32%0%0%0%L2%0%0%0%0%1%0%0%0%1%0%2%46%0%0%I20%13%25%29%40%45%12%10%5%1%1%2%20%76%62%M30%3%0%0%3%5%0%0%0%0%0%0%2%7%28%后向概率定义后向概率：ij15iji1NN后向概率以当前状态为基点（j不变），计算j的上一步由i转换过来的概率。11最可能的前项路径进入网站首页H搜索S主题T种类K作者U出版社P特色J图书最终页面I账户A购物车C订单O成功y取消n4.3%86.4%1.2%0.3%0.4%0.1%0.1%1.2%6.5%14.7%24.3%45.9%39.7%35.3%1.9%首页推广88.9%72.3%1.7%10.7%7.2%8.6%3.7%1.0%1.8%前向路径：从进入网站开始，连接具有最大前向概率的状态，形成前向路径，即用户进入网站开始，最有可能链接下一步的哪些页面。基于日志数据的用户访问路径分析12最可能的后项路径购买型用户最有可能的回溯路径——选择订单确认页面为后向路径的出发点，寻求此类页面最可能的路径来源成功y订单O账户A购物车C搜索S图书最终页面I种类K出版社P首页H86.9%%8.8%%27.3%17.3%25.7%14.6%10.7%19.5%3.6%9.7%7.7%3.5%基于日志数据的用户访问路径分析13购买型用户的聚类不同类型购买用户的促销策略选择价格促销价格承受水平信誉重视程度交流活跃程度收藏频繁程度(购买行为特征)基于购买行为指标的聚类分析，对在线购买型用户进行细分（购买型用户细分）(促销敏感性分析)购买思考时间广告促销口碑促销LiuY,LiH,PengG,etal.Onlinepurchasersegmentationandpromotionstrategyselection:evidencefromChineseE-commercemarket[J].AnnalsofOperationsResearch,2013:1-17.14淘宝网300万条交易数据中随机抽取10万条交易记录0.01.02.03.04.05.0价格水平口碑互动购买时间收藏行为店铺信誉精打细算型购物达人型游戏玩家型高价忠诚型风险厌恶型信誉至上型15促销策略敏感度分析——价格促销-2.0%-1.5%-1.0%-0.5%0.0%0.5%1.0%1.5%2.0%-3%-2%-1%0%1%2%3%精打细算型购物达人型游戏玩家型高价忠诚型风险厌恶型信誉至上型价格促销对不同类型消费者购买量的弹性曲线16促销策略敏感度分析——广告促销-0.5%-0.4%-0.3%-0.2%-0.1%0.0%0.1%0.2%0.3%0.4%0.5%-3%-2%-1%0%1%2%3%精打细算型购物达人型游戏玩家型高价忠诚型风险厌恶型信誉至上型广告促销对不同类型消费者购买量的弹性曲线17促销策略敏感度分析——口碑促销-2.5%-2.0%-1.5%-1.0%-0.5%0.0%0.5%1.0%1.5%2.0%2.5%-3%-2%-1%0%1%2%3%精打细算型购物达人型游戏玩家型高价忠诚型风险厌恶型信誉至上型口碑促销对不同类型消费者购买量的弹性曲线18基于网络搜索数据的股票市场预测中观层面的研究实例19网络搜索与股票市场关联机制分析网络搜索与股票市场的关联模型策略选择交易需求决策执行市场表现（影响因素）跟风疑惑恐惧经济资金行业公司证券市场上的反映需求阶段关键词先行-滞后关系基本面因素心理因素信息网络搜索表现指数量价板块市场行情因素价格交易量选择阶段关键词执行阶段关键词互联网搜索数据上的反映个股贪婪信息投资者交易过程注：实线代表投资者行为在股票市场的反映，虚线代表投资者行为在网络搜索的反映股票市场与网络搜索关系的概念模型20网络搜索指数合成方法关键词时差关系判断：0200004000060000800001000001200001400002006-6-22007-6-22008-6-22009-6-22010-6-201000200030004000500060007000上证指数收盘价关键词:上证指数0200004000060000800001000001200001400001600002006-6-22007-6-22008-6-22009-6-22010-6-201000200030004000500060007000上证指数收盘价关键词:金融界关键词搜索趋势与上证指数走势的对比21网络搜索与股票市场关联机制分析领先性搜索数据的特点：•搜索关键词所代表的经济含义具有预期、指示性的作用，这类搜索数据一定程度上反映了投资者的行为趋势•搜索关键词所代表的行为活动在传导流程上处于股票量价调整的前端，并具有一定的时间间隔，行为活动间隔股票量价调整越长，这类搜索数据的领先性越明显。22网络搜索指数合成方法搜索数据预处理流程：关键词的选择搜索数据的获取数据过滤关键词时差关系判定时差相关分析法K-L信息量法先行关键词序列领先阶数合成权重先行关键词指数合成稳定性检验：互谱分析23搜索指数与股票市场关系的实证检验•假设提出H：网络搜索指数与股票市场中的股价或收益率等结果性变量存在显著的关联关系，并且与其他指标（成交量、换手率）相比，网络搜索指数的解释力更强。24搜索指数与换手率关系的实证检验变量符号表示ADF检验MacKinnon临界值ADF检验结果t-Stat1%5%10%P值上证指数收盘价sp-0.60-2.58-1.94-1.620.46I(1)Δsp-3.29-2.58-1.94-1.620.00上证指数成交量v-0.48-2.58-1.94-1.620.51I(1)Δv-8.09-2.58-1.94-1.620.00上证指数换手率turn-1.24-2.58-1.94-1.620.20I(1)Δturn-6.57-2.58-1.94-1.620.00基本面指数x1-1.08-2.58-1.94-1.620.25I(1)Δx1-2.31-2.58-1.94-1.620.02市场行情指数x2-0.31-2.58-1.94-1.620.57I(1)Δx2-1.96-2.58-1.94-1.620.05行动倾向指数x3-0.13-2.58-1.94-1.620.64I(1)Δx3-4.02-2.58-1.94-1.620.00上证指数收益率r-3.28-2.58-1.94-1.620.00I(0)成交量变化率rv-8.10-2.5