パラメータ推定:テキスト分析、パラメータ推定方法



Parameter Estimation



http:// blog.csdn.net/pipisorry/article/details/51482120

3つのパラメーター推定方法のテキスト分析-最尤推定MLE、最大事後推定MAP、ベイズ推定。



最大事後推定最尤推定も同様ですが、推定値が異なります。 追加された機能により、アプリオリが可能になります 、つまり、現時点では最尤関数は要件ではありませんが、最大ベイズの公式によって計算された事後確率全体が必要です。事後確率計算全体ではなく、分布の最大値の検索、これは





注:ここでは、P(X)とパラメーター 独立しているため、分子を最大値と同等にします。

このアイテムを事前分布に追加することで、追加情報をエンコードし、問題のパラメーターの過剰適合を回避できます。



最尤推定と比較して、先験的な確率分布以上に数値を追加する必要があります。実際には、これは、先験的に知られている、または受け入れられている普遍的な法律を説明するために使用できます。たとえば、コイントスのテストでは、各投球の確率は正の発生確率分布、つまり0.5で最大値を取得する確率に従う必要があります。この分布は、事前分布です。スーパー(ハイパーパラメーター)と呼ばれるパラメーター事前分布パラメーター 私たちの見解では、シータは事前​​分布の影響を受けます:アルファは彼のハイパーパラメータです

同様に、上記の事後確率が最大値を取得すると、MAPから推定されたパラメーター値を取得します。


観測されたサンプルデータ、新しい値 発生確率は


注:これは積分とシータ(MAP値を使用)とは関係がないため、最初に2番目の項のポイント(つまり、データの事後確率は新しい1?)1で変化しません。

コインを投げるベルヌーイ実験の例

事前確率分布の最大値は0.5であると予想されます。ベータ分布を使用できます(lz:実際、ベータ分布を選択する理由はベータ分布であり、二項分布は共役です)。


ベータ関数の拡張はどれですか

@もっと %20%5Cbeta%29%7D'rel = 'nofollow'>

xが正の整数の場合


ベータ分布確率変数範囲[0,1]、正規化された確率値を生成することが可能です。次の図は、さまざまな状況でのベータ分布パラメーターの確率密度関数を示しています。


私たちは取る このような事前分布の最大値は0.5です(上記の図では、事前分布pがほぼ0.5に等しいと考えられるため、ウルトラパラメーターaとbが等しいため、ここでは5に等しいものを選択します)。

ここで、最大事後推定値を取得するために、極値MAP推定関数(p、pパラメーターの導関数)を解く必要があります。

2つの対数(p(p | alpha、beta))の導出の背後にあります


@もっと %5Cfrac%7B%5Calpha%20-%201%7D%7Bp%7D-%5Cfrac%7B%5Cbeta%20-%201%7D%7B1%20-%20p%7D%20 =%200'rel = 'nofollow '>

そして、結果の最尤推定ML比較は、より多くの結果で見つけることができます @もっと %20%5Cbeta%20-2'rel = 'nofollow'> この疑似カウントを両方とも疑似カウントと呼びます。2つの役割は、合計確率pを0.5に近づけることです。これは、ほぼ0.5に等しいと考えるためです。そのような疑似カウントは超越関数であり、ハイパーパラメータが大きいほど、事前に送信された観測値の分布を変更するために、より多くの必要がありますが、今回は収集されたベータ関数に対応し、最大で両側を引き締めます。

実験を20回行うと、12回は正、負は8回表示され、MAPによると、推定パラメーターは16/28 p = 0.571であり、得られた最尤推定値0.6を下回ります。これは、コインがほぼ均一であることも示しています。 '事前パラメータ推定の両側に影響を与えます。

[ テーマモデルTopicModel:LDAの数学モデル ]

MAP推定*

MAP形式の感度および非感度事後確率パラメーター

MAPは独立性を表します

[PGMの原理と技術]

最大事後調査の例


ピッピブログ



ベイズ思考とベイズパラメータ推定

[ ベイズ思考とベイズパラメータ推定 ]



MLE、MAP、ベイズパラメータ推定の比較

結論として、パラメータ推定結果のMLE、MAP、およびベイズ推定を視覚化できます。

lz:MAP、次にMLEベイジアン推定から、表すパラメーターが正確であるほど(簡単から困難、推定値はますます完全になります)、パラメーター推定結果は、ますます多くのことができるサンプルに基づいて、0.5事後確率に近づきます。実際の状況パラメータを反映します。

MLEがうまく機能しないのはなぜですか?

MLEは、観測されたデータの確率を最大化することが保証されていますが、実際には、新しいデータで適切に機能する推定量を見つけることに関心があります。 MLEは、コーパスで観察されていない要素にゼロの確率を割り当てるため、この観点から深刻な問題が発生します。これは、以前に表示されなかった要素を含むシーケンスにゼロの確率を割り当てることを意味します。

から: http://blog.csdn.net/pipisorry/article/details/51482120

参照: グレゴールハインリッヒ:テキスト分析のためのパラメータ推定 *

パラメータ推定(最尤推定、最大事後確率推定、ベイズ推定) *

テキスト言語モデルのパラメーター推定-最尤推定、MAPおよびベイズ推定

LDAへのパラメータ推定テキスト分析(英語版など): リーディングノート:テキスト分析のためのパラメータ推定LDA-cum-learningまとめ

統計(IV):いくつかの一般的なパラメーター推定方法