投資の話

あなたのバックテストの結果は手法の予測能力を保証しない

投稿日:

バックテストでよい結果がでたからといって、その手法が有効だと簡単に信じていないでしょうか?

ファンダメンタルにせよテクニカルにせよ、その手法に有効性があるからリターンがでるのであって、リターンがでるから有効だというわけではありません。

前回の記事でリターンは3つの要素に分解できることを説明しました。

リターンの要素は①手法の予測能力、②手法のポジションバイアス、③検証期間のネットトレンドでしたね。

バックテストをする際には、ポジションバイアスとネットトレンドを取り除いて、手法の予測能力を検出する必要があります。

さて、この記事では正しい仮説の立て方をご紹介します。

間違った仮説の立て方

あなたが新しい投資手法を思いついたとしましょう。

あなたはきっと「過去のデータを入手してバックテストをしよう!バックテストでよいリターンがでるようなら実際に投資してみようかな?」と考えるはずです。

それ、本当に大丈夫ですか?

え?ポジションバイアスとネットトレンドは除去したから大丈夫?

いえいえ、それだけではないのです。

ファンダメンタルにせよテクニカルにせよ、その手法に有効性があるからリターンがでるのであって、リターンがでるから有効だというわけではありません。

どういうことでしょうか。

例えば、①「AならばB」という場合に、「Aである」ならば、結論は「Bである」となります。

では、②「AならばB」という場合に、結論が「Bである」ならば、それは「Aである」といえるでしょうか?

わかりにくいので簡単な例で試してみましょう。

例えば、①「0をかけると0になる」という場合に、「0をかける」ならば、計算結果は「0になる」となります。

ここまではOKですね?

では、②「0をかけると0になる」という場合に、計算結果が「0になる」ならば、とった手段は「0をかける」だといえるでしょうか?

いいえ、そうではありませんね。

計算結果が「0になる」場合は他にもあります。

例えば元の数字が2なら2を引けば計算結果は「0になる」ですよね?

この場合、結論から手段はわからない(結論が「Bである」場合でも「Aである」とはいえない)ということです。

つまり、「(B)リターンがでる」という結論からは、「(A)手法は有効である」とはいえないということです。

正しい仮説の立て方

(B)バックテストでリターンがでても(A)予測能力はわからない。

これでは困ってしまいますね。

(B)から(A)を導き出す方法はないのでしょうか?

実は、(B)を否定することで(A)でないことを証明することはできます。

例えば、③「AならばB」という場合に、結論が「Bでない」となれば、「Aではない」となります。

わかりにくいですね。簡単な例で試してみましょう。

③「0をかけると0になる」という場合に、計算結果が「0ではない」となれば、取った手段が「0をかけるではない」ことがわかります。

この場合、結論から(特定の)手段(でないこと)がわかるということです。

つまり、バックテストをする場合には結論を否定することができれば手法の予測能力があるかどうかわかります。

まだわかりにくいですね。

具体的には「この手法に予測能力はないのでバックテスト*のリターンは0になる」と仮定を立てます。(*ポジションバイアスとネットトレンドを除去した場合)

「リターンが0になる」という結論を否定する結果、つまり「リターンは0でない」となれば、「この手法に予測能力がない」の部分を否定できる、つまり「この手法に予測能力がある」といえるというわけです。

ちょっと複雑なので表にまとめてみました。

例題1:妥当例題1:不当
①前件節Aの肯定前件節Aの否定
仮説AならばBAならばB
結果AであるAではない
結論BであるBではない
例題1:妥当例題1:不当
③後件節Bの否定②後件節Bの肯定
仮説AならばBAならばB
結果BではないBである
結論AではないAである
例題2:妥当例題2:不当
①前件節の肯定前件節の否定
仮説有効ならばリターンは0でない有効ならばリターンは0でない
結果有効である有効でない
結論リターンは0ではないリターンは0
例題2:妥当例題2:不当
③後件節の否定②後件節の肯定
仮説有効ならばリターンは0でない有効ならばリターンは0でない
結果リターンは0リターンは0でない
結論有効でない有効である
例題3:妥当
③後件節の否定
仮説無効ならばリターンは0
結果リターンは0でない
結論無効ではない
帰無仮説と対立仮設

まとめ

精一杯わかりやすく説明したつもりですが、まだわかりにくいかもしれませんね。

ポイントをまとめておきますね。

  1. バックテストの際に、ポジションバイアスとネットトレンドを除去する(前回のおさらい)
  2. 「テストする手法に予測能力はないので、バックテストでのリターンは0になる」と仮説を立てる
  3. 先の2つの条件を満たしたうえで、仮説を否定(つまりバックテストでのリターンが0でなければ)その手法は有効といえる

あとはブートストラップ法、モンテカルロ・パーミュテーション法が使えれば、「予測能力がないのにたまたまリターンがでてしまった手法」を除去できますので、統計的にも有意な手法を探すことができます。

にほんブログ村 株ブログへ
にほんブログ村 株ブログ サラリーマン投資家へ

-投資の話
-, ,

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

逆イールドと米新規失業保険申請件数はポートフォリオのリターンを向上させるか

昨晩、ライオンさんより面白いアドバイスをいただきました。 https://twitter.com/LionMatsu/statuses/1272908758918868998?s=20 https:/ …

投資対象としてのグローバルニッチトップ企業100選

グローバルニッチトップ企業100選が6月末に発表されました。 グローバルニッチトップ企業って? レーザーテック、東洋合成など今年の爆謄銘柄が含まれていたのでちょっと気になって調べてみました。 グローバ …

レバレッジETFによる投資効率の錯覚

久しぶりの記事です。 コロナショックでそこそこ喰らいましたが元気です。 ちなみにレバレッジド最小分散ポートフォリオは2月29日時点で年初来+5%くらい、個別株のほうが喰らっています。 ところで、尊敬す …

2019年のパフォーマンス

日米ともに2019年の取引が終了したので、2019年のパフォーマンスを修正ディーツ法で計算しました。 資産全体では税金と手数料、配当金を考慮して計算していますが、取引にかかる手数料、税金はポートフォリ …

テクニカル分析の迷信――行動ファイナンスと統計学を活用した科学的アプローチ

僕のバックテストは意味がない。(僕の検証は統計的に意味のある検証ではない。) 過去に行った、絶対モメンタム、デュアルモメンタム、加速デュアルモメンタム、移動平均線、最小分散の検証に至ってもそうだろう。 …

にほんブログ村 株ブログバナー

にほんブログ村 株ブログへ

にほんブログ村 サラリーマン投資家バナー

にほんブログ村 株ブログ サラリーマン投資家へ

Twitter でフォロー