情報理論 とは？ページ内リンク ↓ウィキペディア（Wikipedia）記事 ↓Yahoo!知恵袋情報理論（じょうほうりろん、英：Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。 出典: 『ウィキペディア（Wikipedia）』 情報理論 出典: 『はてなダイアリー』 関連商品
荒木 雅弘 /
最安値（新品）： ￥ 3,570
|
目次 |
情報理論の基本となる概念は人間のコミュニケーション手段として最も広く使われている「言語」である。言語に関する重要な2つの観点がある。第1に、最もよく使われる単語（例えば、「日」、「私」、「それ」）はそれほど使われない単語（例えば、「唯々諾々」、「開口一番」、「対馬海流」）よりも短く、結果として文はそれほど長くならない。このような単語長のトレードオフはデータ圧縮に通じるものがあり、情報源符号化の基盤となっている。第2に、自動車が通りかかったなどのノイズのために文の最初の方を聞き逃しても、聞いていた人はメッセージの言わんとするところを理解できる（場合もある）。そのような言語の堅牢性は電気通信システムの基本であり、通信におけるその種の堅牢性を構築するのが伝送路符号化である。情報源符号化と伝送路符号化は情報理論の基礎となる概念である。
情報源符号化と伝送路符号化では、メッセージの内容の重要性を全く考慮していない。例えば、「またおいでください」という決まり文句と、緊急時の叫び「救急車を呼んでくれ!!」は長さは似たようなものだが、その内容の重要性はかなり異なる。情報理論では、メッセージの重要性や意味には立ち入らない。すなわち、データの質は扱わず、確率論的に扱えるデータの量だけを扱う。
情報理論は、1948年、クロード・シャノンが Bell System Technical Journal に投稿した論文 "A Mathematical Theory of Communication"（通信の数学的理論）を始まりとする。古典的情報理論の中心パラダイムは、ノイズの多い伝送路上で情報を転送する際の技術的問題であった。最も基本的な成果はシャノンの情報源符号化理論であり、ある事象を表現するために必要となる平均「ビット」数はその情報エントロピーであるとされた。また、シャノンの伝送路符号化理論では、ノイズの多い伝送路で信頼できる通信を行えることが示され、その際の転送レートの上限を伝送路容量と称した。実際の通信速度を伝送路容量に近づけるには、適切な符号化が必要となる。
情報理論は、過去半世紀の間に工学の手法として定着するまでになった様々な分野と密接に関連している。それは、人工知能、複雑系、サイバネティックス、情報学、機械学習、システム工学などである。情報理論は数学理論としても深遠であり、その応用も幅広い。その中でも特に符号理論は広く応用されている。
符号理論は、具体的な「符号」の方式を確立する分野であり、効率を上げ、エラー発生率をシャノンが定式化した伝送路容量のレベルに近づけることを研究する分野である。符号は、データ圧縮（情報源符号化）と誤り検出訂正（伝送路符号化）が主要な技法である。後者については、シャノンの研究のとおりの方式が可能であると証明するまで長い年月を要した。情報理論の符号に関する第3の技法は暗号化アルゴリズムである。符号理論や情報理論の成果は暗号理論や暗号解読に広く応用されている。
情報理論は、情報検索、諜報活動、ギャンブル、統計学、さらには作曲にまで使われている。
1948年6月と10月、クロード・シャノンは Bell System Technical Journal 誌で古典的論文 "A Mathematical Theory of Communication" を発表し、情報理論を学問分野として確立し、世界的な注目を浴びた。
この論文以前、ベル研究所で考えられていた情報の理論は限定的であり、あらゆる事象が同じ確率で発生することを暗黙の前提としていた。1924年、ハリー・ナイキストの論文 Certain Factors Affecting Telegraph Speed（テレグラフの速度を制限する要因）では、通信システムにおける「情報; intelligence」と「回線速度」の定量化に関する理論が述べられている。それによると、情報の転送速度 W は W = Klogm で表され、m は選択可能な電圧レベル数、K はある定数である。1928年、ラルフ・ハートレーの論文 Transmission of Information（情報の伝送）では、測定可能な量として「情報; information」という用語が使われている。その中で情報の定量化は H = logSn = nlogS で表され、S は文字の種類数、n は伝送された文字数であるとした。後に十進の情報量を表す単位をハートレー（Hartまたはhartley）と呼ぶようになった。1940年、アラン・チューリングは、第二次世界大戦時のドイツ軍の暗号統計解析の一部として同様の考え方を使った。
確率の異なる事象群を扱う情報理論の基礎となる数学は、ルートヴィッヒ・ボルツマンとウィラード・ギブスによる統計力学からもたらされた。情報理論におけるエントロピーと熱力学におけるエントロピーは単なる用語の類似以上の関連がある（ランダウアーの原理参照）。
シャノンの革新的論文については、ベル研究所での研究で1944年末ごろには実際の研究はほとんど済んでいた。シャノンの理論は情報理論の基礎となる静的プロセスとしての通信のモデルを提案し、論文冒頭で次のように表明している。
「通信の基本的課題は、ある地点で選択されたメッセージを正確または近似的に別の地点で再生することである」
それと共に次のような概念が提唱された。
詳細は情報量を参照
情報の数学的理論は確率論と統計学に基づいている。最も重要な情報の定量的尺度はエントロピーと伝達情報量である。エントロピーは確率変数の情報の尺度であり、メッセージの圧縮しやすさの度合いである。伝達情報量は2つの確率変数間に共通する情報の尺度であり、伝送路における通信速度を決定するのに使われる。
以下の式に出てくる対数の底は、情報エントロピーの単位を決定するのに使われる。現在最も一般に使われている情報の単位はビットであり、2を底とする対数に基づいている。そのため通常、底は 2 とみなされる。さらに、通常定義されない 
を 0 とみなす。
離散確率変数 M のエントロピー H とは、M の値の不確かさの尺度である。ここでの「ビット」の定義は重要である。例えば、通常の感覚（0 と 1）で 1000 ビットを転送するとしよう。事前にそのビット群の内容（0 と 1 の送信順序）がわかっている場合、論理的には通信によって得られる情報はゼロである。逆に個々のビットが 0 なのか 1 なのか五分五分の確率であった場合（かつビット間に相互の関連が存在しない場合）、1000 ビットで得られる情報は最大となる。これらの中間で、情報の定量化は次のように表される。
を確率変数 M の発するメッセージ m の集合とし、p(m) = Pr(M = m) としたとき、M のエントロピーは次のようになる（単位はビット）。
![H(M) = \mathbb{E}_{M} [-\log p(m)] = -\sum_{m \in \mathbb{M}} p(m) \log p(m)](http://upload.wikimedia.org/math/8/c/9/8c95a8d9da2d2de2f219ca92040944b4.png)
エントロピーの重要な特徴として、メッセージ空間内の全メッセージが全て同じ確率でありうる場合に（つまり最も予測が難しい場合）、エントロピー値が最大の 
となる。
関数 H を確率分布で表すと次のようになる:
ここで 
これの重要かつ特殊な場合を2値エントロピー関数と呼び、次のようになる:
2つの離散確率変数 X と Y の結合エントロピーとは、単にその組 (X,Y) のエントロピーである。例えば、(X,Y) がチェスの駒の位置を表すとする。X が行、Y が列を表すとすると、その結合エントロピーとは、駒の位置のエントロピーを表す。数学的には次のようになる。
![H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,](http://upload.wikimedia.org/math/0/a/2/0a2e66566a03512cb500db06175aa4dd.png)
X と Y が独立なら、結合エントロピーは単純に個々のエントロピーの総和となる。類似の概念としてクロスエントロピーがあるが、違うものである。
Y = y のときの X の条件付きエントロピーとは、Y = y が既知であるときの X のエントロピーである。前述の例で言えば、列が決まっているときの駒の行位置のエントロピーとなる。Y = y のときの X の条件付きエントロピーは次のようになる:
![H(X|y) = \mathbb{E}_{{X|Y}} [-\log p(x|y)] = -\sum_{x \in X} p(x|y) \log p(x|y)](http://upload.wikimedia.org/math/f/2/3/f23b0aadb3e8e7c0f23992e804ba0ea1.png)
ここで p(x | y) は、ある y に関する x の条件付き確率である。
確率変数 Y における X の条件付きエントロピーとは、Y についての平均条件付きエントロピーであり、次のようになる:
これを Y に関する X のあいまい度とも呼ぶ。このように条件付きエントロピーには、確率変数についての定義と、それが特定の値の場合の定義があるので、混同しないこと。これらのエントロピーには次の関係が成り立つ。
もう1つの重要な情報の尺度として伝達情報量（相互情報量とも呼ぶ）がある。これは、ある確率変数を観測することによって別の確率変数について得られる情報量の尺度である。これは通信において重要な概念であり、妥当な通信量を決定するのに使われる。Y との関連での X の伝達情報量（概念的には Y を観測することで得られる X に関する情報量を意味する）は次のように表される:
伝達情報量の基本特性は次の式で表される:
この意味は、Y を知っていれば、知らない場合よりも X の符号化で平均して I(X;Y) ビット節約できることを意味する。伝達情報量は対称的であるため、次のようにも表せる:
関連する尺度として、自己情報量、自己相互情報量(PMI)、カルバック・ライブラー情報量、差分エントロピーなども情報理論では重要である。
詳細は伝送路符号化を参照
イーサネットなどの伝送路（通信路）上の通信が情報理論構築の主な動機である。電話を使ったことのある人なら誰でも経験することだが、そのような伝送路では正確な信号の再現に失敗することもよくあり、ノイズや一時的な信号の途絶などにより信号が識別不能となることがある。そのようなノイズの多い伝送路でどれだけの情報を伝えることが期待できるだろうか？
離散的な伝送路による通信を考える。X を転送されるメッセージの集合とし、Y をある一定時間内にその伝送路経由で受信したメッセージの集合とする。ここで、p(y | x) を x が送信されたときに y が受信される条件付き確率の分布関数とする。ここで、p(y | x) がその伝送路に固有の属性であるとする（この通信路のノイズの性質を表している）。この伝送路での X と Y の同時分布は、我々がこの通信路に送り出すメッセージの周辺分布 f(x) から求められる。この条件で通信できる情報量を最大化したい。この尺度となるのが伝達情報量であり、伝達情報量の最大値を伝送路容量と呼んで次の式で表す:
伝送路容量は情報レート R（ここで R は記号ごとのビット数）による通信と次のような関係がある。R < C であるような情報レートで符号誤り率 ε > 0 である場合、十分大きな数 N について、コードの長さが N で情報レートが R 以上かつ誤り率が ε 以下となるような符号化アルゴリズムが存在し、非常に低い誤り率で通信を行える可能性がある。さらに R > Cであるような情報レートでは、低い誤り率で通信を行うことは不可能である。
逐次的にメッセージを生成するプロセスは情報源と見なすことができる。メモリを持たない情報源の発するメッセージは互いに独立で同一の分布に従う確率変数であり、エルゴード性と定常性が特徴である。そのような情報源は常に確率的である。これらの用語は情報理論以外でよく研究されている。
情報レート (rate) とは、記号ごとの平均エントロピーである。メモリを持たない情報源では、これは単に各記号のエントロピーを表すが、一般に次のような式で表される:
正確に言えば、これは単位時間当たりの期待される条件付きエントロピーであり、それまでに生成されたメッセージ群から得られる。情報理論では、言語の「レート」や言語の「エントロピー」を扱うのも特別なことではない。例えば、ソースが英語の散文であった場合などにそのような言い方が出てくる。メモリのない情報源の情報レートは単に H(M) となる。これは、メモリのない情報源では、それまでのメッセージ群と次のメッセージとの間に理論上何も関係がないためである。情報源の情報レートは、冗長性と圧縮の程度に関係する。
詳細は符号理論を参照
符号理論は、情報理論の中でも最も重要かつ直接的な応用分野である。その領域は、情報源符号化理論（データ圧縮）と伝送路符号化理論（誤り検出訂正）に大別される。データの統計的記述を用いて、符号化に必要とされるビット数（情報源の情報エントロピー）を定量化する。
圧縮と転送に関する符号理論は情報理論に裏打ちされている。ただし、それは1対1の通信に関してのみである。発信者が複数の場合（複数アクセス伝送路）、受信者が複数の場合（同報伝送路）、仲介者がいる場合（リレー伝送路）、それらの複合であるコンピュータネットワークなどについて、転送後の圧縮は最適とは言えないかもしれない。このようなマルチエージェント通信モデルを扱うのはネットワーク情報理論 (Network Information Theory) である。
情報理論の概念は、暗号理論や暗号解読でも広く使われている。シャノン自身、現在では判別距離と呼ばれている暗号理論上重要な概念を定義した。平文の冗長性に基づき、暗号文の復号で平文が一意に定まるのに必要な暗号文の量の下限を定めるものである。
シャノンの情報理論は、暗号理論での利用が示すよりずっと重要である。諜報機関は機密情報の保持に情報理論を応用し、常により安全な方法で敵に関する情報を最大限引き出そうとしている。シャノン・ハートレイの定理は、情報を秘密にしておく困難さを示している。一般に機密情報の漏洩を完全に防ぐことは不可能であり、ただ漏洩の速度を遅くできるだけである。さらに、ある情報に触れる人間が多ければ多いほど、その情報の冗長性は増していく。そして、冗長性の高い情報を封じ込めることは極めて困難である。このような機密情報の避けられない漏洩は、人々が何かを知ることでその振る舞いに影響が出てしまうという心理学的事実によるものである。
情報理論の応用例として、GPSの符号化方式での信号隠蔽がある。このシステムでは擬似乱数を使って信号をノイズフロアのレベル以下に抑えている。そのため、一般の電波受信者は信号があることにさえ気づかないが、秘密の擬似乱数列を使ってある期間の信号を積分することで信号を検出できる。GPSシステムでは、C/A信号は一般に公開されているが、P(Y)信号に使われている擬似乱数列は秘密とされている。同様の手法は短距離の秘密通信にも使われており、低電力で敵に気づかれずに通信が可能である。これはステガノグラフィーの一種とも言える。また、スペクトラム拡散通信も参照されたい。
情報理論のその他の応用として、ギャンブルや投資への応用、ブラックホールと情報のパラドックス、バイオインフォマティクス、音楽などがある。
All text is available under the terms of the GNU Free Documentation License.
（2008年11月26日）
（2008年11月25日）
（2008年11月13日）
（2007年2月8日）
（2003年1月27日）
PageRank5以上の相互リンク
・相互リンクスクエア
（PageRank 5）
・相互リンク インプロス
（PageRank 5）
→便利！NINJA TOOLS
→FC2検索
用語
Wikipedia
YouTube
「音声認識システム」というタイトルが誤解を招きやすいが，
パターン認識，機械学習の初歩を解説している初学書．
まえがきに書かれているとおり，学部３年生を対象にしているため，
イメージを重視して，わかりやすく書かれている．
前提知識がなくても全部を読むことができ，ほとんどをすんなり理解
できるだろう．よく書かれている．
研究室配属になった学生にぽんと渡して予習したり，講義についてい
けない場合のフォローに役に立つと思われる．
これを読んでおけば，いきなりとっかかるとつまずくような入門書も
すんなり読めるようになるだろう．
音声認識システムには言語モデルも使われるが，隠れマルコフモデル，
文脈自由文法，N-gramという代表的な言語モデルを網羅しているのも
個人的には気に入っている．
評価法についての解説もある．内容のバランスがとてもいい．
また本書ではHTK,Weka,Palmkit,Julius/Julian,Galateaなどのフリー
ソフトの簡単な使いかたも解説しているが，研究をしていて意外に時間
を食うのが，こういったツールのとっかかりだったりする．
そういう意味では，結果を出すまでの使いかたが解説されているのは非常に
ありがたい．
著者が目標としているとおり，今まで入門書とされていた本の前に読むことで
すんなり入れるようにするための書．
音声認識，パターン認識，機械学習といった分野に興味があるが，
何から読んでいいかわからない，という人にはまずこれを薦めたい．
「わかりやすいパターン認識」の前にどうぞ．
（sleepy_yoshi さんのレビュー）
問題の本質を見極め、問題解決をするための本です。
様々な事例を使い、問題の本質をわかりやすく読み解いていく事が出来ます。
問題の定義、問題の発見、状況による問題の変質等々について書かれています。私はこの本で現状にすぐ役に立つシチュエーションが出てこないとは思ったので、なるべく大きな視点で捉えながら、事例ではなくその話の問題を読み解くつもりで読み進めました。しかし、残念ながら私がこの本で得られた事は、「問題のないところは墓場だけ」という事ぐらいでしょうか・・・
もっと本を読み慣れた方ならきっと役に立つ本でしょうが、皆さんが言われるように読みにくい訳（？）のおかげで、私にはあまり役に立ちませんでした。
ただ、内容をしっかり読めればすばらしい本だと思うので、またしばらくして読んでみたいと思います。
（バカルディ80 さんのレビュー）