回测样本比较：明确答案与核心原则
在策略研究方法中，比较回测样本并非简单对比收益数字，而是需要一套统一的指标与口径。明确答案是：任何回测比较都必须先统一口径，再比较指标。口径包括数据频率、时间区间、交易成本、滑点、分红处理等；指标则包括收益率、最大回撤、夏普比率、胜率等。只有口径一致，比较才有意义。
什么是回测样本：定义与核心概念
回测样本是用于测试策略的历史数据片段，通常分为样本内（in-sample）和样本外（out-of-sample）。样本内用于参数优化，样本外用于验证策略的真实表现。核心概念包括过拟合、幸存者偏差、前视偏差等。理解这些概念是正确比较的前提。
回测样本比较的背景与主题解释
策略研究方法中，回测样本比较常用于策略筛选、参数优化和稳健性检验。然而，许多研究者在比较时忽视口径差异，导致结论失真。例如，一个使用日线数据、未计成本的回测，与另一个使用分钟数据、计成本的回测，即使收益相同，风险特征也截然不同。
关键因素与步骤：如何统一口径并比较
步骤一：明确比较目的与选择基准
首先确定比较目的：是策略间横向对比，还是同一策略的参数优化？选择适当的基准（如沪深300）作为参照。
步骤二：统一数据口径
- 时间范围：确保起止日期一致，或至少覆盖相同的市场周期。
- 数据频率：日线、小时线或分钟线，频率不同影响交易信号。
- 成本假设：佣金、滑点、印花税等，需设定相同的费率。
- 分红处理：除权除息调整方式需一致。
步骤三：选择核心比较指标
| 指标类型 | 具体指标 | 计算口径 | 适用条件 |
|---|---|---|---|
| 收益类 | 累计收益率、年化收益率 | 时间加权或资金加权 | 长期策略比较 |
| 风险类 | 最大回撤、波动率 | 基于净值序列 | 风险敏感型策略 |
| 风险调整后收益 | 夏普比率、索提诺比率 | 无风险利率假设 | 跨策略比较 |
| 交易统计 | 胜率、盈亏比、交易次数 | 按信号或按持仓周期 | 高频策略需注意 |
步骤四：执行样本外验证
将数据分为样本内和样本外，用样本内优化参数，样本外检验。比较时需关注样本外表现是否衰减。
步骤五：敏感性分析与稳健性检验
改变参数或数据窗口，观察结果是否稳定。若大幅波动，则策略可能过拟合。
对比表：不同口径下的回测结果差异
| 口径设置 | 策略A（日线） | 策略B（分钟线） | 差异分析 |
|---|---|---|---|
| 未计成本 | 年化20% | 年化25% | 分钟线交易频繁，成本影响更大 |
| 计入成本 | 年化18% | 年化15% | 成本侵蚀高频策略收益 |
| 最大回撤 | 15% | 22% | 高频策略波动更大 |
真实场景案例：假设示例说明
假设某研究者比较两个均线策略：策略1使用日线数据，策略2使用小时数据，均未计成本。结果显示策略2年化收益更高，但计入成本后策略2收益大幅下降。这说明了成本口径的重要性。此案例为假设示例，用于说明比较方法。
风险与限制：回测比较的常见误区
- 过拟合：参数过度优化，样本外失效。
- 幸存者偏差：仅使用现存标的，忽略退市股票。
- 前视偏差：使用未来数据。
- 忽略交易成本：导致收益虚高。
此外，回测不代表未来表现，市场结构变化可能使历史规律失效。
常见问题解答
问题1：回测样本比较时，如何选择时间范围？
应覆盖至少一个完整市场周期，包括牛熊市，且各策略的时间范围一致。
问题2：如何避免过拟合？
使用样本外数据验证，并采用交叉验证或参数敏感性分析。
问题3：成本假设如何设定？
根据实际交易品种和频率设定合理费率，并说明假设来源。
问题4：夏普比率越高越好吗？
不一定，需结合最大回撤和策略稳定性，夏普比率基于历史数据，可能不稳定。
问题5：回测样本比较需要哪些数据？
需要价格、成交量等历史数据，并注意复权处理和数据质量。
问题6：如何验证回测结果的可信度？
可参考CFTC的监管信息，但需自行核验。具体可访问CFTC官网查询相关资质，但回测本身无法由监管机构验证。
总结
策略研究方法中，回测样本的比较必须统一口径，关注样本外表现，并警惕常见误区。本文提供的步骤和表格可作为操作参考。投资者应结合自身情况，理性看待回测结果。
