さまざまな情報量基準

生態学の界隈では、情報量基準なるものが大人気です。そのくせ、(筆者も含め)それぞれの情報量基準なるものがどんな意味をもつのか、よくわかっていない場合がほとんどです。わかっている範疇で整理。

AIC(赤池情報量基準)

情報量基準といったらAICと言わんばかりですが、なんだったら決定係数との違いすらよく分かっていないかったのが博士課程のころの僕です。AICが低いモデルでは、「同じ母集団から同じサンプル数の別のデータセットを取り出してきたときにも、それなりのパフォーマンス(当てはまり)を発揮する」ということになる。だが、これはサンプル数を無限大に増やしたとしても、必ずしも「真のモデル」には収束しないらしい。あくまで評価基準が予測精度だからだろうか。

AICc

サンプルサイズが小さいときはAICc!みたいな使われ方をしている。だが実は、正規分布を仮定した補正をしているので、正規分布以外のモデルに対して適用するのはご法度らしい。Burnhamさんの本を参照のこと。

BIC(ベイズ情報量基準)

AICと異なり、こちらは真のモデルを選ぶらしい(あくまでサンプルが無限大になったとき、ということだろうか)。あまり使ったことはないが、たしかにAICとは全く異なるモデルを選ぶ傾向がある。予測精度ではなく、真に重要な変数を選び出したい場合にはBICを使った方がよいのだろう。式的には、AICの罰則項にサンプルサイズが入っていないのに対し、BICには入っている。そのため、サンプルサイズが大きくなったときに、前者は対数尤度の項の影響が相対的に大きくなり、より複雑なモデルを選びがちになるようだ。

DIC(Deviance Information Criteria)

こちらはベイズモデルなどでよく使われる情報量基準。だが、広く使われている割に、その数学的根拠は随分と希薄らしい(論文でこういった表記をよく見かける)。DICの式の構造としては、モデルの当てはまりに関わる指標(Deviance)に対し、パラメーター数で罰則を与えている。AICでは2k(kはパラメーター数)という罰則項があるが、これには数学的根拠がある。DICの場合は、そういった裏付けがない、ということだろうか。時間のあるときに調べよう。
また、DIC利用の際の注意点として、パラメーターの正規性が担保された状態でしか役に立たないらしい。詳細はよくわからないが、ベイズのご利益がでる階層線形モデルや状態空間モデルでは、この「パラメーターの正規性」がほとんど担保されないらしい。パラメーターの正規性とはなんぞや。。。(おそらく、パラメーターの事後分布が正規分布で近似できる、ということか)。だとしたらDICを使える場面などそうそうないのでは。

wAIC(widely applicable information criteria)

最近考案されたらしいwAICなるものは、階層をもった複雑なモデルにおいても適用できるらしい。これまたAICに引き続き日本人が発見したので驚き。日本人って統計につおいのだろうか。開発者のワタナベさんのページはこちら(ワタナベさんが開発したからwAICかと思った。違うのかorz)。内容をまったく理解していないのですが、浅はかな理解では予測精度を問題にしているような気がするので、モデル選択の結果の解釈としてはAICと同様になるような気がする。階層モデルのようなものにも適用できる点が違いか(あくまでユーザー視点からすれば)。もう少し勉強する。

SPONSOR LINK

Spread the love
  • 3
    Shares

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です