たくさん推定器があるときの推定に関するメモ

Wed Dec 8 09:39:07 JST 2021 (modified: Wed Dec 8 10:39:52 JST 2021)
views: 313, keywords: 研究, メモ

  このエントリーをはてなブックマークに追加 

やりたいこと: あるものを推定するベイズフィルタがたくさんあって、互いに信念分布が違う形状のとき、最終的にどれをどれだけ信じればよいのかの計算。アンサンブル学習の話と関係あるのでちょっと文献を調べなきゃいけないが、その前に自分で考察してみる。

$$ \newcommand{\V}[1]{\boldsymbol{#1}} $$

真の分布(なんなのかはよくわからない)

 これが知りたい。でもわからない。

$$ b^*(\V{x} | \V{z}^*) $$

条件に書いてある\(\V{z}^*\)はセンサデータで、すべてのデータが、時不変な分布から逸脱せずに生成されたもの。

推定器

 いろんな推定器\(b_1, b_2, \dots, b_{N_b}\)が、いろんな推定をする。\(b_i\)は推定器というより推定器の出力する信念分布だけど、ここでは両者を区別しない。

$$ b_i(\V{x} | \V{z}_i) \qquad \{i=1,2,\dots,N_b \} $$

使っているセンサデータは、とりあえず互いは独立ではないと考える。たとえば、いろんな人がmRNAワクチンの安全性についていろんなことを言っているが、見ている情報源は同じワイドショーとか、そういう感じ。

推定器がどれだけ正しいか

 真の分布と推定器の与える分布のKLダイバージェンスが指標になる。

$$ D_\text{KL}(b_i || b^*) $$

これは未知の値なので、たぶん全推定器の平均からどれだけ逸脱しているか、とかを計算しなければならない。でも、推定器が互いに同じセンサデータを使っていると、そういう方法は使えない。困った。

推定器に自己評価させる

 しょうがないので、推定器にどれだけ自分に自信があるのか自己評価させる。

$$ \hat{D}_\text{KL}(b_i || b^*) $$

このような偽KLダイバージェンスを計算させる。こうやってしまうと、「俺が正しい」という傲慢な推定器が勝ってしまうという、現実社会にもよくあることが起こるが、そこはそういうことが起こらないように設計者が気をつける。

推定器や推定値の選択

  • 最尤法: 一番\(\hat{D}\)の値が小さい推定器を採用
  • 平均をとる: \(\hat{D}\)の値で重みを付けて\(b_i\)を足し合わせて正規化


prev:日記(2021年12月7日) next:LiDARとGNSSの使い分け





このサイトではGoogle Analyticsやその他ソーシャルボタンのためにCookieを使用しています。もし同意いただけない場合はブラウザでクッキーを無効にして閲覧をお願いします。This site uses cookies for Google AdSense and some social buttons. If you cannot accept our use of cookies, please disable cookies on your browser.