モデル評価の重要性

モデル選択の際にはAIC（Akaike Information Criterion）やBIC（Bayesian Information Criterion）がよく用いられる。これらの指標は複数のモデル間の相対的な良さを示すため，これらの指標を用いて最良モデルを選択することができる。しかし，これらの指標はその選択された最良モデルが「どれだけ良いのか」については何も示してくれない。選ばれたモデルは所与のデータのもとでは最良モデルではあるが，それはほとんど役に立たないモデルだという場合も多い。まず現在のデータの量や質が十分であるかどうかを判断し，そして，データの量や質が不十分であると判断された場合には，さらにデータの量や質を改善してモデルを再構築し，さらにモデル評価を繰り返す必要がある。このようなサイクルを繰り返すことによってのみ信頼できるモデルが構築できると考えられる。しかし，AIC や BIC はこの推論サイクルを駆動する上では全く役に立たない。一般に，「モデル選択」を行うだけではなく，きちんと「モデル評価」を行うことが非常に重要である。

R_D 指数の提案

モデルが良いかどうかを判定する基準はいろいろと考えられるが、統計モデルの性質から考えれば「そのモデルによる予測が実際に当たるかどうか」で判断するのがもっとも妥当だと考えられる。Yamamura（2014）では、そのようなモデルの評価基準としてR_D 基準を提案した。手持ちのデータを用いてモデルを構築して、次にそれを新しいデータに適用したときに、構築したモデルの元でその新しいデータが発生する確率の対数値として予測力を定義し、その予測力の改善割合R_pred を考える。将来のデータをすべて知っている「神」が予測した場合にR_pred は100%となり、説明変数をまったく持たない「凡人」が予測した場合にR_pred が0%となるように改善割合R_pred は定義される。このR_pred の推定値としてR_D が導出されている。R_D は一般には次式で与えられる。

R_D = 1 - (l_max - l + k)/(l_max - l_null + θ)

ここにk はR_D の計算対象とする候補モデルに含まれるパラメーター数である。l は候補モデルでの対数尤度であり、l_null は切片だけを含むモデル（null model）における対数尤度である。l_max は固定効果パラメーター数とデータ数が等しい最大モデル（maximal model）における対数尤度である。ただし、すべての要因効果を入れたモデルのもとで推定した分散を用いてl, l_null, l_maxは計算される。その点で、計算手順はAICと違ってかなり複雑になる。θは切片の数であり、1変量の場合はθ=1である。R_D を計算して自動的に最適なモデルを見つけるための1変量用のR関数とSASマクロが下記の場所に置いてある

http://cse.naro.affrc.go.jp/yamamura/RD_criterion_program.html

R_D に関する若干の解説文もこのサイトに置いてある。このR関数は一般化線型モデル専用である。これに対して，SASマクロは一般化線形混合モデル用であり，線形モデル，一般化線型モデル，一般化線形混合モデルに広く対応している。