一宗罪：幸存者偏差
如果用当前Russell 3000指数成分股回测过去30年信用风险因子（用Merton distance to default来量化）的表现，为统一标准，方便回测，剔除所有数据长度短于30年数据的股票，回测结果表明：信用风险越高，回报越好。
新浪博客
一宗罪：幸存者偏差
如果用当前Russell 3000指数成分股回测过去30年信用风险因子（用Merton distance to default来量化）的表现，为统一标准，方便回测，剔除所有数据长度短于30年数据的股票，回测结果表明：信用风险越高，回报越好。
这是最简单的错误，目前的指数成分股中只有20%的股票在过去30年中始终是Russell 3000成分股。破产、退市、表现不佳的股票定期都会被剔除出。也就是说我们在拿过去30年中表现最好的那些公司进行回测，即便当时的信用风险高，当你知道谁会幸存下来时，在信用风险高，陷入困境时买入，当然收益非常高。若考虑进那些破产、退市、表现不佳的股票后，结论完全相反，投资高信用风险企业的收益率长期远低于信用稳健的企业。
二宗罪：前视偏差
上述的幸存者偏差实际上是前视偏差的一种特例，我们站在过去的时间点上无法得知哪些公司能幸存下来依旧是今天的指数成分股。在财务数据上很容易犯前视偏差的错误。比如，每个公司财务数据发布的时间点是不同的，在回测是应该根据每个公司数据发布的时间点去利用财务信息，而不是简单的假设2季度数据在6月30日以后即全部可用，亦不可设置一个统一的发布滞后时间。
更隐蔽的不容易发现的错误是财务/经济数据的修正。我们在下载历史宏观数据时往往得到的是终值，但很多发达国家GDP数据发布后要经过两次调整，各大公司财报的修正也是非常常见的。我们在回测的时间点上是无法得知终值的，只能利用初始值。这个情况在国内可能更少见些，也反映了数据质量上国外应该做得更好，在事后能进行大量修正。这么一点小修正不会影响结论？不，很多宏观数据初值拿来做回归都是不显著的，公司财务数据与否直接影响选股结果。
现实中还存在更为隐蔽的前视偏差。例如，美股中管理层可能决定进行裂股（也就是A股的高转送）来解决股价过高导致的流动性问题。也可能是缩股（若干股合成一股）来美化每股盈利等指标（EPS）。如果回测一个简单的策略，买标普500指数成分股中股价最低的50个股票，则过去25年的收益喜人，由此我们是否能得出低价“便宜”股未来收益更高呢？这个原理在A股有理论依据啊:牛市时大妈逐步消灭2元股，3元股，4元股…在大妈看来价格的绝对值一定程度上代表便宜程度。答案当然是否定的，如果要对这个策略进行回测，必须使用复权调整后的股价数据，下图中可以看到，这个策略基本无用，和标普指数走平。
三宗罪：讲故事
很多人喜欢没有任何数据开始讲故事，做量化的人喜欢拿着数据和结果讲故事。这两种情况很多时候是类似的，因为喜欢故事和解释的人，在做数据之前往往就已经有一个剧本，他要做的不过是找出演好剧本的“演员”（数据）罢了。我本身是做宏观的，深知故事的危害，要讲的故事，何愁找不出数据支持？
假如时间倒回1997，你在做策略，然后发现利润率这个指标非常灵验，只要买Russell3000成分股中高利润率的公司，过去10年躺着也能赚钱。量化太简单了!
按照这个策略投了2年，很不幸本金一不小心亏了70%。然后有人会告诉你，还看什么利润率，新经济将改变世界，买互联网公司就是赚钱，你这个策略早就不管用了。
于是你信以为真，买了互联网公司，结果是：继续亏。然后2年后又有人告诉你，互联网公司是泡沫，都一地鸡毛了，你还是应该重回经典，利润率还是要看的，过去2年这个指标不错啊，2年翻了6倍，泡沫破裂股灾阶段这个业绩亮瞎眼。
然后你又重回经典，决定矢志不渝的坚守利润率这个因子。然后过了10年，你发现你的收益曲线近乎是一条直线。
每天都在发现新的“好因子”，每天市场里都有人在寻找永动机，都是在浪费时间。所有发布出来的策略我还没见过表现回测不好的（回测表现都不好，自然不会拿出来）但这些故事对过去的解释非常动听，对未来的预测几乎没用。当我们做出和常识相悖亦或是和原来判断相符的结果时，最好别去讲故事，除非你想出去忽悠人。相关性和因果性在金融经济的世界里从来没有人能分清楚。讲故事的害处是越讲自己越信，最后发现掉沟里的人是自己。