teruji-kun Hirata-Juku...天才UFO

HOME | 道具・力学 | 熱・化学 | 電気・磁気 | 量子・相対論 | 電子・IT・新技術

* 電子・IT・新技術7:デジタル情報処理(1948年:シャノン)

Q81:A君は、大好きなY子さんにラブレターを書き、付き合ってもらえるかどうか?をたずねた。B君は、進学のため第一希望の大学受験をし、合格発表を待っている。C君は明日の旅行が気になり、天気予報で雨が降るかどうか?を知りたがっている。さて、誰が一番情報量の多い答えを期待しているだろうか?

もちろん回答内容により情報には量だけではなく「質」の高さ低さがある。A君にとり貴重なラブレターの返事も、B君やC君にはあまり価値が無く、情報の質は受け取る人や状況にも依存する。つまり情報の質や意味(重要性)は、客観的かつ科学的には扱いにくい。そこで「質」については棚上げにして、「量」についてのみ考えてみることにする。例えば単純だが、1つの候補として「文の長さ」を取り上げよう。長い文章のほうが多くの表現可能性が広がるわけだが、今使える文字種をS、文字の長さ(並べ数)をnとすると、 文字の並べ方、つまり文章の表現数はS^n通りと計算できる。この数はnが大きいと非常に大きな数になるのでこの対数を取り、

  H=log(S^n)=nlog S

で情報量を定義してはどうだろう。こうすると文字種Sの対数を係数として文字の数nが増えるにしたがい、情報量が比例して増えてゆくという直観にも合う指標が出来た。この指標は1928年、「ハートレー発振回路」の発明で有名な米の無線技師ハートレー(Ralph Vinton Lyon Hartley、米、1888~1970年)によって定義され、これを基に「通信可能な情報量は通信周波数帯域と伝送時間に比例する」ことが示された。

 翌年1929年、ハンガリー生まれの米科学者シラード(Leo Szilard、 ハンガリー、1898~1964年)は、熱・統計力学で得られたエントロピーの概念を情報と結びつける先見的な見解を示す。気体の分子運動を観測しながら情報を得て、その気体の系のエントロピーを減らそうとするモデルは「マクスウェルの魔」(マクスウェル、1867年、45話)として有名であるが、シラードはもっと簡単な圧力の観測により系のエントロピーを減らせる「シラードの魔」なるパラドックスを考えつき、情報を得るためのエントロピー生成量を分析した。この試みは当時あまり注目を集めなかったが、1948年米の通信工学者シャノン(Claude Elwood Shannon、米、1916~2001年)が情報量をエントロピーと似た概念で定義したとき、再評価されることになる。

 1940年代後半、ベル研で通信の研究を行っていたシャノンのモチベーションは「ノイズのある通信経路上でいかに多くの情報を高い信頼性で送ることができるか?」という技術的問題を解くことにあった。その考察の中で、情報量を定義(情報エントロピー)し、信号のデジタル符号化(サンプリング定理)、伝送路の限界を与える伝送容量、ノイズからの誤り訂正、そして暗号化などを数学的に議論し、その後の情報処理のベースとなる革新的成果を上げたのである。その議論のポイントはあいまいな「情報量」をいかに定義するかにあった。彼は情報を次のように捉えた「可能性のある全ての状態Wの中から特定の状態を選択する時に得た知識」、例えば、「明日の天気は晴れです」という情報は、晴れ、曇り、雨という3状態(と仮定する)の中から1つの晴れという状態が選択されたということであり、この選択にこそ情報の本質があるとみなして、情報量Iを次のように定義した。

  I=Klog W 、ここでKは比例定数。

対数を取る意味は、2つの独立な情報I1とI2を得たとき、その総情報量Iが、I=I1+I2と和で表され好都合な為である。又、総状態数Wを、一般的に特定の状態iが出現する確率Piで書き直し(等確率ならPi=1/W )、

  I=-KΣPi・log Pi

と示した。これらの定義は形式的にはボルツマンの求めた熱・統計力学上のエントロピーとそっくり(第45話参)だっため、フォン・ノイマン(John von Neumann、ハンガリー⇒米、1903~1957年)の示唆にしたがい情報エントロピーと呼び、その基本単位をlogの底を2としてbit(ビット)とした。この定量化により、定性的だった情報が数学的に扱えるようになり、ここで得られた諸定理を生かす事でデジタルをベースとした通信と情報処理(いわゆるIT)技術が花開いたのである。

 シャノンは1916年、裁判官の父と高校の校長の母のもとミシガン州に生まれた。16歳で母の高校を卒業、数学と科学が得意で機械に異常な関心を示した。エジソンを尊敬し、飛行機、ラジコンボート、無線機などを自作して楽しむ。16歳でミシガン大に入学、ブール代数などを学び、20歳で数学と電気工学の2つの学位を取得し卒業、MITに進学した。そこで若干21歳の時、電気回路でブール代数を実現できることを証明、つまり論理演算回路を発明する(修士論文1937年)。これによって、計算機が情報処理機へと進化する道を切り開いた。この論文は20世紀で最重要な修士論文と呼ばれている(1935年にモスクワ大のシェスタコフ(1907-1987)により同様な発明がなされていたが出版が遅れた)。シャノンは趣味が多く、ジャグリング、一輪車、チェスなどを楽しみながら、様々な発明に熱中した。ロケットつき飛行円盤、モーター制御竹馬、炎の出るトランペット、究極マシン、ルービックキューブを解く装置など。万年子供のような天才だった。

宿題81:情報のエントロピーと熱のエントロピーが関連するなら、情報処理をするたびに、世界のエントロピー増大が生じてしまうのではないか?これによる環境問題は大丈夫なのか?

*NEXT

次は何を読もうか↓(下の目次か右側のリンクより選んで下さい)

内部リンク

外部リンク