2008年04月22日

知るということ―認識学序説 (認知科学選書) 渡辺慧

知るということ@amazon―認識学序説 (認知科学選書) 渡辺 慧 (- - 1986/6)
エントロピーの増加というのは、1つの系に入ってくる熱の量をその入ったときの絶対温度で割ったもの、というふうに定義されるのです。これを原子論的に解釈すると−Σpi log(pi/qi)という形になります。こういうことを言いだしたのはギッブス(Gibbs、1902)とかボルツマン(Boltzmann、1896)という人たちで、これは19世紀の終わりごろです。(P.90)

対数的エントロピー
 普通は、系に1からnまでの状態があり、それらの確率がp1、p2、……、pである場合に、次のように定義します。
  S=−Σpi log pi
 これは対数的エントロピーです。

多項式型エントロピー
  T=1−Σpi2=Σpi


それから1からnまでの場合があるときに、2つのエントロピー分布を比較するのに役立つのは、いろいろな条件付きエントロピー(比較エントロピーといってもいいと思います)です。対数的な場合には、その比較エントロピーというものは
  V=−Σpi log(pi/qi
と、こんどはpとqを入れ替えて、それをVに加える。それがWであります。すなわち
  W=V(p、q)+V(q、p) ただしV(p、q)は上のV


 先ほどの多項式型エントロピーの方でWに対応するものはU関数というものです。
  U=−Σ(pi−p2

 実際にパターン認識の問題を解く場合には、、多項式型エントロピーを使った方がうまくいくことがしばしばあるのですが、(P.101)
posted by raycy at 12:25| Comment(0) | TrackBack(0) | 本メディア | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。