TENSAI-UFO．．．天才UFO vr2.0

Ｑ８１：Ａ君は、大好きなＹ子さんにラブレターを書き、付き合ってもらえるかどうか？をたずねた。Ｂ君は、進学のため第一希望の大学受験をし、合格発表を待っている。Ｃ君は明日の旅行が気になり、天気予報で雨が降るかどうか？を知りたがっている。さて、誰が一番情報量の多い答えを期待しているだろうか？

　もちろん回答内容により情報には量だけではなく「質」の高さ低さがある。Ａ君にとり貴重なラブレターの返事もＢ君やＣ君にとってはあまり価値は無く、情報の質は受け取る人や状況にも依存している。つまり情報の質や意味（重要性）は、客観的かつ科学的には扱いにくい。そこで「質」については棚上げにして、「量」についてのみ考えてみることにする。そこで単純に、文章の情報量を「文の長さ」としてみよう。長い文章のほうが多くの表現可能性が上がるわけだから、今使える文字種をS個、文字の長さ（並べ数）をn列とすると、 文字の並べ方、つまり文章の表現数はS×S×S×S×S×‥（n個の積）＝S^n通りと計算できる。この数はnが大きいと非常に大きな数になるのでこの対数を取ることにすると、

  H=log(S^n)=nlog S

となり、これでこの文章の情報量を定義できるかもしれない。こうすると文字種Sの対数を係数として文字の数nが増えるにしたがい、情報量が比例して増えてゆくという直観にも合う指標が出来た。この指標は1928年、「ハートレー発振回路」の発明で有名な米の無線技師ハートレー（Ralph Vinton Lyon Hartley、米、1888～1970年）によって定義され、これを基に「通信可能な情報量は通信周波数帯域と伝送時間に比例する」ことが示されたのである。

　翌年1929年、ハンガリー生まれの米科学者シラード（Leo Szilard、 ハンガリー、1898～1964年）は、熱・統計力学で得られたエントロピーの概念を情報と結びつける先見的な見解を示す。気体の分子運動を観測しながら情報を得て、その気体の系のエントロピーを減らそうとするモデルは「マクスウェルの魔」（マクスウェル、1867年、熱・化学19話参）として有名であるが、シラードはもっと簡単な圧力の観測により系のエントロピーを減らせる「シラードの魔」なるパラドックスを考えつき、情報を得るためのエントロピー生成量を分析した。この試みは当時あまり注目を集めなかったが、1948年米の通信工学者シャノン（Claude Elwood Shannon、米、1916～2001年）が情報量をエントロピーと似た概念で定義したとき、再評価されることになる。

　1940年代後半、ベル研で通信の研究を行っていたシャノンのモチベーションは「ノイズのある通信経路上でいかに多くの情報を高い信頼性で送ることができるか？」という技術的問題を解くことにあった。その考察の中で、情報量を定義（情報エントロピー）し、信号のデジタル符号化（サンプリング定理）、伝送路の限界を与える伝送容量、ノイズからの誤り訂正、そして暗号化などを数学的に議論し、その後の情報処理のベースとなる革新的成果を上げたのである。その議論のポイントはあいまいな「情報量」をいかに定義するかにあった。彼は情報を次のように捉えた「可能性のある全ての状態Wの中から特定の状態を選択する時に得た知識」、例えば、「明日の天気は晴れです」という情報は、例えば晴れ、曇り、雨という３状態（と仮定する）の中から１つの晴れという状態が選択されたということであり、この選択にこそ情報の本質があるとみなして、情報量Iを次のように定義しのであるた。

  I=Klog W 、ここでKは比例定数。

　対数を取る意味は、２つの独立な情報I1とI2を得たとき、その総情報量Iが、I=I1+I2と和で表され好都合な為である。又、総状態数Wを、一般的に特定の状態iが出現する確率Piで書き直し（等確率状態ならPi=1/W ）、

  I=-KΣPi・log Pi

と示した。これらの定義は形式的にはボルツマンの求めた熱・統計力学上のエントロピーとそっくり（熱・化学19話参）だっため、混乱を避けるためフォン・ノイマン（John von Neumann、ハンガリー⇒米、1903～1957年）の示唆にしたがい「情報エントロピー」と呼び、その基本単位をlogの底を２としてbit（ビット）とした。この定量化により、定性的だった情報が数学的に扱えるようになり、ここで得られた諸定理を生かす事でデジタルをベースとした通信と情報処理（いわゆるIT）技術が花開いたのである。

　シャノンは1916年、裁判官の父と高校の校長の母のもとミシガン州に生まれた。16歳で母の高校を卒業、数学と科学が得意で機械に異常な関心を示した。エジソンを尊敬し、飛行機、ラジコンボート、無線機などを自作して楽しむ。16歳でミシガン大に入学、ブール代数などを学び、20歳で数学と電気工学の２つの学位を取得し卒業、MITに進学した。そこで若干21歳の時、電気回路でブール代数を実現できることを証明する。つまり論理演算回路を発明したのである（修士論文1937年）。これによって計算機が情報処理機へと進化する道を切り開いた。この論文は20世紀で最も重要な修士論文と呼ばれている（２年前の1935年にモスクワ大のシェスタコフ（1907-1987）により同様な発明がなされていたが出版が遅れた為、シャノンが先に評価された）。ところでシャノンは趣味が広く、ジャグリング、一輪車、チェスなどを楽しみながら、様々な発明に熱中した。ロケットつき飛行円盤、モーター制御竹馬、炎の出るトランペット、究極マシン、ルービックキューブを解く装置など。万年少年のような天才だったと言われている。

宿題８１：情報のエントロピーと熱のエントロピーが関連するなら、情報処理をするたびに、世界のエントロピー増大が生じてしまうのではないか？これによる環境問題は大丈夫なのだろうか？

NEXT

次は何を読もうか↓（下の目次か右側のリンクより選んで下さい）