操作解説書 › 02 学習・評価

「02 学習・評価」画面の使い方

概要

「02 学習・評価」は、学習を実行し、AUC（上位入着馬を見分ける力の指標）と効いたファクターを確かめてから、名前とメモを付けてモデルを確定保存する画面です。

この画面の開き方：サイドバーの［02 学習・評価］をクリックします。

お使いいただける方：無料版・有償版のどちらでも使えます（保存済みモデルの性能比較・ホールドアウト評価は有償版）。

はじめての方は：全体の流れは「クイックスタート」をご覧ください。

このページの目次

学習の実行

02 学習・評価の「学習の実行」。赤枠❶が［学習・評価を実行］、❷が［キャンセル］
❶ 学習・評価を実行　❷ キャンセル
❶ 学習・評価を実行データ準備→学習→性能評価までを続けて行います（Ctrl＋Enterでも同じ）。処理中も画面は操作でき、途中で中止できます。
❷ キャンセル実行中の処理を止めます（画面最下部のバーの右端にも同じボタンがあります）。

操作方法

  1. ［学習・評価を実行］（画像の❶）をクリックします。
  2. 終わるまで待ちます。実行中は、進み具合のバーと文字に、いまどの段階か（例：特徴計算 3/5）と推定の残り時間が表示されます。
    学習の進み具合のバー（段階と推定の残り時間）
    進み具合＝いまどの段階か（例: 特徴計算 3/5）と推定の残り時間
  3. 終わると、下の「モデル性能評価」カードに結果が出ます。

実行ログ

処理の途中経過が1行ずつ残るカードです。ふだんは畳まれています——「実行ログを開く」をクリックすると開きます（うまくいかないときに見ます）。ホームの［最新データを取り込む］や設定の一括取り込みの経過も、ここに出ます。

「実行ログ」カード（畳まれた状態）。赤枠が「実行ログを開く」
「実行ログ」＝ふだんは畳まれています（赤枠をクリックで開閉）

モデル性能評価

学習が終わると、AUC（上位入着馬を見分ける力の指標）とその寸評が、0.5〜1.0 を10段に分けたカラーバーと並んで出ます。0.5＝でたらめ、1.0＝完璧です。

モデル性能評価のカード（AUC・カラーバー・寸評）
モデル性能評価（図は AUC 0.78 の例。「影響の大きかったファクター」は学習するとここに出ます）
0.60 未満ほとんど当たっていない
0.60〜0.70弱い
0.70〜0.73あと一歩
0.73〜0.78標準性能（競馬の予測でふつうに届く範囲です）
0.78〜0.82高性能
0.82〜0.86非常に高性能 ※リーク注意
0.86 以上リーク発生可能性高
補足この AUC が「どの期間で測った成績」なのかを、あわせて知っておいてください。
　画面に出る AUC は、学習に使った期間の、いちばん最後の12か月で測ったものです（この12か月を内側検証と呼びます。月数は「詳細設定」の「成績を測る月数」で変えられます＝有償版）。
　この12か月は、予測のあてはめそのものには使っていません。ただし「学習をどこで打ち切るか」の判断には使っていますし、指数（0〜100）の目盛りもこの期間から作っています。
　ですから、この数字は「一度も見ていない未来のデータでの成績」ではありません。これからのレースで同じ数字が出るとは限らない、という前提で読んでください。
　また、確定保存されるモデルは、この12か月も含めて学習し直したものです（打ち切り位置を決めたあとに、あらためて全期間で学習します）。
　一度も使っていない期間で実力を測りたいときは、「詳細設定」のホールドアウト評価（有償版）をお使いください。そのうえで、実際の運用では、新しいデータがたまったら定期的に学習し直すことをおすすめします。
注意AUC が高すぎるときは疑ってください。　競馬の予測で 0.82 を超えるのは容易ではありません。それより高く出たときは、予測の時点では知り得ない値が手がかりに混ざっている（リーク）可能性があります。とくに独自データを取り込んでいる場合は、「いつ分かる値か」の申告が実際と合っているかを確かめてください。保存自体は妨げません（判断はご自身で）。
AUC が高すぎるときの表示例（リークの注意が出た状態）
AUC が高すぎるときの表示例（図は AUC 0.91＝リークの注意つき）

影響の大きかったファクター（「モデル性能評価」の中）

同じ「モデル性能評価」のカードの中に、影響の大きかったファクター（予想への影響割合）と確率の補正が出ます。リークが疑わしいときは ⚠ が付きます。その目安は、AUC の行のすぐ下に常に出しています。
保存済みモデルの性能比較は、画面のいちばん下の「予想モデルの保存」カードにあります（［性能比較を更新］で作り直せます。有償版の機能です）。

1本のファクターが 30% 以上⚠ …… そのファクターだけで予測がほぼ決まっている状態です
1本のファクターが 50% 以上⚠⚠ …… リークが強く疑われます
人気順を +0.02 以上 上回る⚠ …… ただしオッズ・人気を手がかりに使っているなら正当に起こり得ます
人気順を +0.05 以上 上回る⚠⚠
ファクターが少ないとき実際に効いたファクターが4本より少ないときは、割合が大きくても⚠を出しません（本数が少ないと1本の割合はどうしても大きくなるためです）。4〜6本のときは、上の 30%／50% より高い目安に切り替わります。いまの目安は画面に出ています

取り込んだ独自データのファクターが突出しているときは、「取込」と名指しで表示します。まずそのデータの申告を確かめてください。

予想モデルの保存（画面のいちばん下）

モデル名・メモ・［モデルを確定保存］・保存済みモデルの性能比較は、画面のいちばん下の「予想モデルの保存」カードにまとまっています。

「予想モデルの保存」。赤枠❶がモデル名の欄、❷が［モデルを確定保存（学習が終わると有効）］
❶ モデル名　❷ モデルを確定保存（学習が終わると有効）
❶ モデル名保存するときの名前です（保存先フォルダの名前になります）。空欄なら自動で付きます（形は「予測対象＋今日の日付」＝例 top3_20260730）。\ / : * ? " < > | は使えません。同じ名前があるときは末尾に連番が付き、前のモデルは上書きされません。
❷ モデルを確定保存（学習が終わると有効）学習したモデルを、改ざん検知つきで正式に保存します（Ctrl＋Sでも同じ）。これを押すまでは正式な保存になりません（学習しただけの結果は次回起動時に破棄されます）。無料版で保存できるのは3本までです（上限に達すると、その場で理由を表示します。有償版に上限はありません）。
「メモ」何を狙って作ったか・気づいたことを書いておけます。保存時に一緒に記録され、04 モデル管理の一覧に表示されます（あとから書き直せます）。
ヒント未来の情報を混ぜない仕組みについて。　未来の情報を混ぜない仕組みは、ファクターを選ぶ段階に入っています。01 モデル定義では、レース後にしか分からない値をその日の手がかりとして選べないようになっています（当日情報として選べるのは前日までに分かる項目だけ）。だから収録データだけで組んだモデルは、作り方の上で未来の情報を含みません。唯一の例外が、取り込んだ独自データの「いつ分かる値か」の申告です。ここだけは申告を信じるしかないので、上の寸評と ⚠ を目安に確かめてください。

うまくいかないときは「困ったときは」をご覧ください。

← 前へ：01 モデル定義目次へ戻る次へ：03 指数出力 →