拾穗多因子系列期中总结20190515财通证券60页

“拾穗”多因子系列——期中总结财通证券金融工程组首席分析师：陶勤英S0160517100002助理分析师：张宇17621688421不积跬步，无以至千里“拾穗”系列（一）：带约束的加权最小二乘：一种解析解法“拾穗”系列（二）：你看到的不一定是你所想的：解密𝑅2“拾穗”系列（三）：行业因子选取：中信一级还是申万一级？“拾穗”系列（四）：总市值、流通市值、自由流通市值：谈谈取舍“拾穗”系列（五）：数据异常值处理：比较与实践“拾穗”系列（六）：因子缺失值处理：数以多为贵“拾穗”系列（七）：从纯因子组合的角度看待多重共线性“拾穗”系列（八）：非线性规模：A股市场存在中市值效应吗？“拾穗”系列（九）：牛市抢跑者：低Beta一定代表低风险吗？“拾穗”系列（十）：行业的风格偏好：解析纯行业因子组合“拾穗”系列（十一）：多因子风险预测：从怎么做到为什么“拾穗”多因子系列期中总结欢迎扫描二维码或搜索【量化陶吧】关注财通金工微信公众号一、带约束的加权最小二乘：一种解析解法“拾穗”多因子系列期中总结一、带约束的加权最小二乘：一种解析解法𝑠.𝑡𝑖𝑤𝑖𝑓𝑖=0问题描述：直接优化法：二次规划法：解析解法：𝑈𝑆𝐸4:𝑟𝑛=𝑓𝑐+𝑖=1𝐼𝑋𝑛𝑖𝑓𝑖+𝑠=1𝑆𝑋𝑛𝑠𝑓𝑆+𝑢𝑛𝑠.𝑡𝑖𝑤𝑖𝑓𝑖=0𝑚𝑖𝑛𝑛𝑤𝑛∙𝑟𝑛−𝑓𝑐−𝑖=1𝑋𝑛𝑖𝑓𝑖−𝑠=1𝑋𝑛𝑠𝑓𝑆2𝑚𝑖𝑛𝑥12𝑥′𝑃𝑥+𝑞′𝑥𝑠.𝑡.𝐺𝑥≤ℎ,𝐴𝑥=𝑏𝛽=𝑆𝛾+𝑠=𝑆𝑆′𝑋′𝑊𝑋𝑆−1𝑋𝑆′𝑊𝑦−𝑋𝑠+𝑠解析解法思想：通过线性变换，将问题转化为不带约束的加权最小二乘解析解法优点：运行速度快、可重复性强•财通金工提供编写好的Python及MATLAB接口函数，以供投资者参考一、带约束的加权最小二乘：一种解析解法二、你看到的不一定是你所想的：解密R方“拾穗”多因子系列期中总结问题描述：同样的数据，同样的模型，为什么别人的R方有40%，而你的却只有20%？R方一定大于0而小于1吗？不同类别因子对R方的贡献如何？不同样本、不同回归权重、不同计算方法对R方的影响如何？R方与IC之间存在哪些关系？一个误解：R方一定大于0而小于1吗？•不一定（不带截距项回归，R方可能出现负数）二、你看到的不一定是你所想的：解密R方𝑌=𝑋𝛽+𝑢𝑌=𝑋𝛽，𝑌=𝛽+𝑢𝑆𝑆𝑇=𝑖=1𝑛𝑦𝑖−𝑦2=𝑖=1𝑛𝑦𝑖−𝑦𝑖+𝑦𝑖−𝑦2=𝑖=1𝑛𝑢𝑖+𝑦𝑖−𝑦2=𝑖=1𝑛𝑢𝑖2+𝑖=1𝑛𝑦𝑖−𝑦2+2𝑖=1𝑛𝑢𝑖𝑦𝑖−𝑦=𝑆𝑆𝑅+𝑆𝑆𝐸+2𝑖=1𝑛𝑢𝑖𝑦𝑖−2𝑦𝑖=1𝑛𝑢𝑖在不带截距项回归中这两项不一定为0𝑅𝑇2=1−𝑛𝑤𝑛𝑢𝑛2𝑛𝑤𝑛𝑟𝑛2𝑅𝑅2=1−𝑛𝑤𝑛𝑢𝑛2𝑛𝑤𝑛𝑟𝑛−𝑟2R方反映的是所选因子对于股票收益在横截面上波动的解释能力，而波动又可分为总波动和相对波动。对于主动投资经理而言，相较于市场的总体波动，他们更关注市场相对于基准的波动大小，因此相对R方对这部分的投资者意义更大。问题描述：同样的数据，同样的模型，为什么别人的R方有40%，而你的却只有20%？一个区分：总R方和相对R方二、你看到的不一定是你所想的：解密R方𝑅𝑇2=1−𝑛𝑤𝑛𝑢𝑛2𝑛𝑤𝑛𝑟𝑛2𝑅𝑅2=1−𝑛𝑤𝑛𝑢𝑛2𝑛𝑤𝑛𝑟𝑛−𝑟2•R方比较时间：2008.5.30-2019.1.31回测样本：Wind全A总R2滚动12月均值43%相对R2滚动12月均值22%市场波动十分剧烈时，R方上升问题描述：同样的数据，同样的模型，为什么别人的R方有40%，而你的却只有20%？一个区分：总R方和相对R方二、你看到的不一定是你所想的：解密R方•R2的拆解：市场最有效（27%）行业因子其次（37.5%）风格因子最后（43.2%）问题描述：不同类别因子对模型的解释能力如何？不同样本的选择对R方的影响多大？R方拆解：不同类别因子解释能力不同样本内解释能力对比二、你看到的不一定是你所想的：解密R方•不同样本内解释能力对比：沪深300最高（42%）中证500其次（24%）Wind全A最低（21%）二、你看到的不一定是你所想的：解密R方问题描述：R方与IC之间存在怎样的关系？一个等同：R方与IC的平方三、行业因子选取：中信一级还是申万一级？“拾穗”多因子系列期中总结三、行业因子选取：中信一级还是申万一级？问题描述：行业因子到底选取中信一级还是申万一级还是Wind二级？财通金工温馨提示：行业因子存在缺失值：主要由于行业划分数据的更新不及时导致，但上市3个月后拥有行业划分的比率达到96%。行业因子值发生变化：公司业务转型、并购等。申万一级在2014年发生编制变化：不利于进行长时间回测。非银金融行业是否需要进行二级划分：从行业收益相似度和风险贡献度的角度来分析。四、总市值、流通市值、自由流通市值：谈谈取舍“拾穗”多因子系列期中总结四、总市值、流通市值、自由流通市值：谈谈取舍问题描述：总市值、流通市值、自由流通市值的概念和计算存在哪些区别？在计算PB、PE等衍生数据时，采用何种市值？总市值和流通市值的分布如何？对数化处理后有哪些优势？指数编制过程中，采用哪种市值加权与官方数据更为接近？•2019年3月4日，全市场3590家A股公司，同时在2个及以上板块发行的有193家，占比5.38%四、总市值、流通市值、自由流通市值：谈谈取舍问题描述：在计算PB、PE、换手率因子时，采用何种市值？•财通金工特别提醒大家，在使用第三方数据提供商计算的衍生数据时，仍需保持一定的警惕性•A股总市值平均值173亿，中位数53亿。•将近50%公司在50亿以下，超过70%公司总市值小于100亿（大部分公司可以被认为是小市值公司）•A股自由流通市值平均值62亿，中位数24亿。四、总市值、流通市值、自由流通市值：谈谈取舍问题描述：流通市值和总市值的分布四、总市值、流通市值、自由流通市值：谈谈取舍问题描述：市值数据进行对数处理后更接近于正态分布•从自由流通市值占总市值比例来看，二者之间仍然存在较大差别•对市值数据的对数化处理能够使数据更接近正态分布四、总市值、流通市值、自由流通市值：谈谈取舍问题描述：指数权重的计算中该使用何种市值数据？•采用流通市值加权比总市值加权计算，与官方公布结果更为接近•采用分级靠档的方法计算的数据，与官方公布数据拟合效果最佳五、数据异常值处理：比较与实践“拾穗”多因子系列期中总结五、数据异常值处理：比较与实践问题描述：为什么要进行异常值处理？异常值的存在会带来什么危害？常用的异常值处理方法有哪些？对于财务类和价量类数据，何种处理方法最为合适？异常值危害：•异常值的存在使得逻辑上强相关的两列数据的实际相关系数非常小问题描述：有哪些异常值处理方法？常用处理方法：五、数据异常值处理：比较与实践•报告正文介绍了7种异常值处理方法的具体操作及其优劣比较问题描述：对于财务类因子和价量类因子，哪种处理方法更为合适？单季度净利润同比增长率：五、数据异常值处理：比较与实践•异常值较大且两端都有异常值情况：中位数去极值和箱型图法效果最佳问题描述：对于财务类因子和价量类因子，哪种处理方法更为合适？资产负债率因子：五、数据异常值处理：比较与实践•异常值较大且分布在单边：中位数去极值和箱型图法效果最佳问题描述：对于财务类因子和价量类因子，哪种处理方法更为合适？对数市值因子：五、数据异常值处理：比较与实践•数据质量本身尚可：各种方法效果类似，都较好六、因子缺失值处理：数以多为贵“拾穗”多因子系列期中总结六、因子缺失值处理：数以多为贵问题描述：风格因子的覆盖率如何？有哪些缺失值填充的方法？对于财务因子和价量因子，哪种方法更为合适？风格因子平均覆盖率缺失值处理方法介绍六、因子缺失值处理：数以多为贵问题描述：对于不同类型因子，哪种方法效果更为合适？缺失值处理方法比较•主要财务因子处理结果：从左至右：回归法、行业均值填充、市值分组均值填充从上至下分别为：盈利因子，成长因子，杠杆率因子六、因子缺失值处理：数以多为贵问题描述：对于不同类型因子，哪种方法效果更为合适？缺失值处理方法比较•主要价量因子处理结果：从左至右：回归法、行业均值填充、市值分组均值填充从上至下分别为：Beta因子，BP因子，波动率因子七、从纯因子组合的角度看待多重共线性“拾穗”多因子系列期中总结七、从纯因子组合的角度看待多重共线性问题描述：简单因子组合与纯因子组合之间的区别？如何根据纯因子组合来判断因子之间的共线性？简单因子组合VS纯因子组合：𝑟𝑛=𝑓𝑐𝑃+𝑖𝑋𝑛𝑖𝑓𝑖𝑃+𝑠𝑋𝑛𝑠𝑓𝑠𝑃+𝑢𝑛𝑃𝑛𝑊𝑖𝑓𝑖𝑃=0𝛽=𝑆𝛾=𝑆𝑆𝑇𝑋𝑇𝑉𝑋𝑆−1𝑋𝑆𝑇𝑉𝑟Ω𝑃=𝑆𝑆𝑇𝑋𝑇𝑉𝑋𝑆−1𝑋𝑆𝑇𝑉𝑟𝑛=𝑓𝑐𝑆+𝑋𝑛𝑠𝑓𝑠𝑆+𝑢𝑐𝑆𝑛𝑣𝑛𝑋𝑛𝑠=0𝑛𝑣𝑛𝑋𝑛𝑠2=1𝑓𝑠𝑆=𝑛𝑣𝑛𝑋𝑛𝑠𝑟𝑛𝑓𝑐𝑆=𝑛𝑣𝑛𝑟𝑛简单风格因子组合：𝑟𝑛=𝑓𝑐𝑆+𝑖𝑋𝑛𝑖𝑓𝑖𝑆+𝑢𝑛𝑆𝑖𝑊𝑖𝑓𝑖𝑆=0𝑓𝑐𝑆=𝑖𝑊𝑖𝑛∈𝑖𝑣𝑛𝑟𝑛𝑉𝑖𝑓𝑖𝑆=1𝑉𝑖𝑛∈𝑖𝑣𝑛𝑟𝑛−𝑓𝑐𝑠简单行业因子组合：纯因子组合：七、从纯因子组合的角度看待多重共线性问题描述：简单因子组合与纯因子组合之间的区别？简单因子组合VS纯因子组合：对于部分因子而言，简单因子组合和纯因子组合走势类似；对于其他因子而言，二者存在明显不用七、从纯因子组合的角度看待多重共线性问题描述：从纯因子组合的角度看到多重共线性：多重共线性检验方法：方差膨胀系数（VIF）因子权重相关系数（FWC）因子收益相关系数（FRC）因子杠杆率（FLR）𝑋𝑛𝑘=𝑘′≠𝑘𝑋𝑛𝑘′𝑏𝑘′+𝜀𝑛𝑘𝑉𝐼𝐹𝑘=11−𝑅𝑘2𝜌𝑘𝐶𝑆=1𝑛𝑛Ω𝑛𝑘𝑃∙Ω𝑛𝑘𝑠𝜎Ω𝑘𝑃𝜎Ω𝑘𝑠𝜌𝑘𝑇𝑆=1𝑇𝑡𝑓𝑘𝑡𝑃−𝑓𝑘𝑃𝑓𝑘𝑡𝑆−𝑓𝑘𝑆𝜎𝑓𝑘𝑃𝜎𝑓𝑘𝑠𝐿𝐸𝑉𝑘=𝑛Ω𝑛𝑘𝑃𝑛Ω𝑛𝑘𝑆八、非线性规模因子：A股市场存在中市值效应吗？“拾穗”多因子系列期中总结八、非线性规模因子：A股市场存在中市值效应吗？问题描述：非线性规模因子如何计算？A股市场是否存在中市值效应？不同指数的非线性规模因子有何差别？非线性规模因子计算方法：回归取残差法VS标准化后取平方法：八、非线性规模因子：A股市场存在中市值效应吗？问题描述：A股市场是否存在中市值效应？A股市场存在中市值效应吗？单因子测试主要方法：八、非线性规模因子：A股市场存在中市值效应吗？问题描述：A股市场是否存在中市值效应？A股市场存在中市值效应吗？纯因子组合法分组测试法•非线性规模因子的收益稳定为负，且比规模因子还更稳定•从大到小分为10组，单调性较好八、非线性规模因子：A股市场存在中市值效应吗？问题描述：非线性规模因子如何计算？A股市场是否存在中市值效应？A股市场存在中市值效应吗？分组测试法多空组合净值及绩效表现八、非线性规模因子：A股市场存在中市值效应吗？问题描述：非线性规模因子如何计算？A股市场是否存在中市值效应？A股市场存在中市值效应吗？Fama-Macbeth方法（横截面回归）八、非线性规模因子：A股市场