たくさん推定器があるときの推定に関するメモ

Wed Dec 8 09:39:07 JST 2021 (modified: Wed Dec 8 10:39:52 JST 2021)
views: 766, keywords:研究, メモこの記事は最終更新日が2年以上前のものです。

やりたいこと: あるものを推定するベイズフィルタがたくさんあって、互いに信念分布が違う形状のとき、最終的にどれをどれだけ信じればよいのかの計算。アンサンブル学習の話と関係あるのでちょっと文献を調べなきゃいけないが、その前に自分で考察してみる。

$$ \newcommand{\V}[1]{\boldsymbol{#1}} $$

真の分布（なんなのかはよくわからない）

　これが知りたい。でもわからない。

$$ b^*(\V{x} | \V{z}^*) $$

条件に書いてある$\V{z}^*$はセンサデータで、すべてのデータが、時不変な分布から逸脱せずに生成されたもの。

　いろんな推定器$b_1, b_2, \dots, b_{N_b}$が、いろんな推定をする。$b_i$は推定器というより推定器の出力する信念分布だけど、ここでは両者を区別しない。

$$ b_i(\V{x} | \V{z}_i) \qquad \{i=1,2,\dots,N_b \} $$

使っているセンサデータは、とりあえず互いは独立ではないと考える。たとえば、いろんな人がmRNAワクチンの安全性についていろんなことを言っているが、見ている情報源は同じワイドショーとか、そういう感じ。

　真の分布と推定器の与える分布のKLダイバージェンスが指標になる。

$$ D_\text{KL}(b_i || b^*) $$

これは未知の値なので、たぶん全推定器の平均からどれだけ逸脱しているか、とかを計算しなければならない。でも、推定器が互いに同じセンサデータを使っていると、そういう方法は使えない。困った。

　しょうがないので、推定器にどれだけ自分に自信があるのか自己評価させる。

$$ \hat{D}_\text{KL}(b_i || b^*) $$

このような偽KLダイバージェンスを計算させる。こうやってしまうと、「俺が正しい」という傲慢な推定器が勝ってしまうという、現実社会にもよくあることが起こるが、そこはそういうことが起こらないように設計者が気をつける。