あなたのバックテストの結果は手法の予測能力を保証しない

バックテストでよい結果がでたからといって、その手法が有効だと簡単に信じていないでしょうか？

ファンダメンタルにせよテクニカルにせよ、その手法に有効性があるからリターンがでるのであって、リターンがでるから有効だというわけではありません。

前回の記事でリターンは３つの要素に分解できることを説明しました。

テクニカル分析の迷信――行動ファイナンスと統計学を活用した科学的アプローチ

リターンの要素は①手法の予測能力、②手法のポジションバイアス、③検証期間のネットトレンドでしたね。

バックテストをする際には、ポジションバイアスとネットトレンドを取り除いて、手法の予測能力を検出する必要があります。

さて、この記事では正しい仮説の立て方をご紹介します。

間違った仮説の立て方

あなたが新しい投資手法を思いついたとしましょう。

あなたはきっと「過去のデータを入手してバックテストをしよう！バックテストでよいリターンがでるようなら実際に投資してみようかな？」と考えるはずです。

それ、本当に大丈夫ですか？

え？ポジションバイアスとネットトレンドは除去したから大丈夫？

いえいえ、それだけではないのです。

ファンダメンタルにせよテクニカルにせよ、その手法に有効性があるからリターンがでるのであって、リターンがでるから有効だというわけではありません。

どういうことでしょうか。

例えば、①「ＡならばＢ」という場合に、「Ａである」ならば、結論は「Ｂである」となります。

では、②「ＡならばＢ」という場合に、結論が「Ｂである」ならば、それは「Ａである」といえるでしょうか？

わかりにくいので簡単な例で試してみましょう。

例えば、①「０をかけると０になる」という場合に、「０をかける」ならば、計算結果は「０になる」となります。

ここまではＯＫですね？

では、②「０をかけると０になる」という場合に、計算結果が「０になる」ならば、とった手段は「０をかける」だといえるでしょうか？

いいえ、そうではありませんね。

計算結果が「０になる」場合は他にもあります。

例えば元の数字が２なら２を引けば計算結果は「０になる」ですよね？

この場合、結論から手段はわからない（結論が「Ｂである」場合でも「Ａである」とはいえない）ということです。

つまり、「（Ｂ）リターンがでる」という結論からは、「（Ａ）手法は有効である」とはいえないということです。

（Ｂ）バックテストでリターンがでても（Ａ）予測能力はわからない。

これでは困ってしまいますね。

（Ｂ）から（Ａ）を導き出す方法はないのでしょうか？

実は、（Ｂ）を否定することで（Ａ）でないことを証明することはできます。

例えば、③「ＡならばＢ」という場合に、結論が「Ｂでない」となれば、「Ａではない」となります。

わかりにくいですね。簡単な例で試してみましょう。

③「０をかけると０になる」という場合に、計算結果が「０ではない」となれば、取った手段が「０をかけるではない」ことがわかります。

この場合、結論から（特定の）手段（でないこと）がわかるということです。

つまり、バックテストをする場合には結論を否定することができれば手法の予測能力があるかどうかわかります。

まだわかりにくいですね。

具体的には「この手法に予測能力はないのでバックテスト*のリターンは０になる」と仮定を立てます。（*ポジションバイアスとネットトレンドを除去した場合）

「リターンが０になる」という結論を否定する結果、つまり「リターンは０でない」となれば、「この手法に予測能力がない」の部分を否定できる、つまり「この手法に予測能力がある」といえるというわけです。

ちょっと複雑なので表にまとめてみました。