回测样本的比较：指标与口径对照
在策略研究方法中，回测样本的比较是评估交易策略有效性的关键环节。比较不同策略或同一策略在不同参数下的表现，必须建立统一的指标体系和数据口径，否则结果将失去意义。本文旨在提供一套清晰的比较框架，帮助研究者在实践中避免常见错误。
什么是回测样本比较
回测样本比较，是指将历史数据划分为训练集和测试集，通过对比不同策略在相同样本上的表现，来评估其优劣。其核心在于控制变量，确保比较的公平性。适用场景包括策略参数优化、多策略筛选、以及策略稳健性检验。
核心比较指标
收益指标
- 累计收益率：反映策略在回测期内的总收益。
- 年化收益率：将累计收益年化，便于不同周期比较。
- 超额收益：相对于基准（如沪深300）的收益。
风险指标
- 最大回撤：账户净值从峰值到谷底的最大跌幅，衡量极端风险。
- 波动率：收益率的标准差，反映策略的稳定性。
- 夏普比率：单位风险所获得的超额收益，是常用的风险调整后收益指标。
其他指标
- 胜率：盈利交易次数占总交易次数的比例。
- 盈亏比：平均盈利与平均亏损的比值。
- 卡玛比率：年化收益与最大回撤之比，衡量收益回撤性价比。
口径对照规则
所谓“口径”，是指数据计算和统计的标准。比较时必须统一以下口径：
- 时间区间：确保比较的策略使用相同的起止日期，避免因市场环境不同而失真。
- 数据频率：日线、小时线或分钟线，不同频率会影响交易信号和绩效。
- 交易成本：包括佣金、滑点和冲击成本，需使用相同的假设。
- 复权方式：前复权、后复权或不复权，影响价格序列的连续性。
- 样本内外划分：明确训练集和测试集的划分方法，避免数据泄露。
对比表：不同指标的口径要求
| 指标 | 计算口径 | 核验步骤 | 适用条件 |
|---|---|---|---|
| 年化收益率 | 需明确复利或单利计算方式 | 检查收益率的复权处理 | 适用于长期策略比较 |
| 最大回撤 | 基于净值曲线，需定义峰值和谷值 | 确认净值更新频率 | 适用于风险敏感型策略 |
| 夏普比率 | 无风险利率的选取 | 核对无风险利率来源 | 适用于风险调整后收益比较 |
| 胜率 | 盈亏判定标准（如平仓价与开仓价） | 确认交易记录是否完整 | 适用于高频或短线策略 |
| 卡玛比率 | 年化收益与最大回撤的比值 | 确认回撤计算是否含手续费 | 适用于对回撤敏感的投资者 |
核验方法
为确保回测结果的可靠性，可参考以下核验步骤：
- 数据源核验：使用权威数据源，如交易所官网或第三方数据商，确保数据准确。
- 逻辑审查：检查策略代码逻辑，避免未来函数或前视偏差。
- 参数敏感性测试：调整参数，观察结果是否发生剧烈变化，若变化大则可能过拟合。
- 样本外测试：使用未参与优化的数据段进行验证。
- 第三方工具交叉验证：如使用不同回测平台（如QuantConnect、聚宽等）进行对比。
常见误区
- 过拟合：过度优化参数以适应历史数据，导致实盘失效。
- 幸存者偏差：仅使用当前存续的标的，忽略已退市标的。
- 忽略交易成本：未计入滑点和手续费，导致收益虚高。
- 前视偏差：使用了未来数据，如未复权价格或财务数据发布时间不当。
- 样本外测试不足：仅用一段历史数据，未考虑不同市场环境。
真实场景案例
假设某研究者开发了一个均线交叉策略，在沪深300成分股上进行回测。他采用了2015-2020年的日线数据，未考虑交易成本，年化收益率达到30%。但当他加入双边0.1%手续费和0.05%滑点后，年化收益率降至15%。若再使用2021-2023年数据作为样本外测试，收益率可能进一步变化。这个示例说明，不同口径和样本区间对结果影响显著，比较时必须透明披露所有假设。
风险与限制
回测样本比较存在固有局限：历史数据不代表未来表现，市场结构变化可能使历史规律失效。此外，数据质量、统计方法的选择都可能影响结论。因此，任何比较结果都需谨慎解读，建议结合多维度指标和样本外验证。
FAQ
1. 回测样本比较中最常见的错误是什么？
最常见的错误是忽略交易成本和样本外测试，导致过拟合和收益虚高。必须包含成本假设并留出样本外数据。
2. 如何选择比较指标？
根据策略类型和目标选择。趋势策略关注收益和回撤，高频策略关注胜率和盈亏比，稳健策略看重夏普比率。
3. 数据频率对比较有多大影响？
影响显著。高频数据能捕捉更多细节，但也会增加噪声和成本。比较时需使用相同频率。
4. 如何避免过拟合？
采用交叉验证、参数敏感性测试和样本外验证，并简化模型，避免过度优化。
5. 回测样本划分有哪些方法？
常用方法包括留出法（按时间划分）、K折交叉验证（需注意时间序列顺序）和滚动窗口法。
6. 交易成本如何估算？
可根据券商佣金、交易所规费和市场冲击成本估算，或使用保守假设。
7. 比较结果是否具有普适性？
不具普适性，结果依赖于数据区间和市场环境，需在实盘前进行小规模测试。
总结
回测样本比较是策略研究方法中的核心环节，必须统一指标和口径，遵循严格的核验步骤，并警惕常见误区。本文提供了比较框架、核验方法和案例，帮助研究者做出更可靠的评估。请记住，回测结果仅供研究参考，不构成投资建议。
