サイエンス

情報学の父クロード・シャノンが規定した「情報」とは?


情報理論の父と呼ばれるクロード・シャノンは、情報を「0」「1」の2値のみで表す手法を開発しました。この手法によって表される「情報」の意味を、バーミンガム大学でコンピューターサイエンスについて教えるアーロン・スローマン氏が解説しています。

Jane Austen's concept of information
https://www.cs.bham.ac.uk/research/projects/cogaff/misc/austen-info.html

シャノンは、さまざまな意味を持つ情報を「0」「1」の2値で表す「通信の数学理論」を開発し、「エントロピー(情報量)」と呼ばれる概念を編み出しました。

情報理論の父と呼ばれるクロード・シャノンの功績とは? - GIGAZINE


スローマン氏によると、シャノンが規定した「情報量」は、人々がイメージする「現象の規模」とは異なるとのこと。例えば、「イモムシが草を食べた」「小惑星が島を壊した」という2つの文からは異なる規模の現象がイメージされますが、両者は「『名詞』が『名詞』を『動詞』」という同じ種類の単語で構成されているため、シャノンの理論に当てはめると「『単語の種類』に関する情報量は等しい」と言えます。

シャノンの情報理論では、情報が一定の信号によって構成される場合、信号の数によって情報量が決定されます。例えば、「.」「-」の2種類の信号で表されるモールス符号の場合、「..--」「--.-」といった4連続のモールス符号で表される情報は、2の4乗=16通り存在します。言い換えれば、4連続のモールス符号は、16通りの情報の内15通りの情報の可能性を削除できます。同様に、「aaabb」「ababa」といった2種類のアルファベット5文字で表される情報は、2の5乗=32通りの情報のうち31通りの情報の可能性を削除できます。

また、4つの連続した2種類の信号は2の4乗=16通りの情報を表せますが、4連続した4種類の信号は4の4乗=256通りの情報を表せます。このように、シャノンの理論では、信号の長さ・種類が増えるほど情報量が大きくなります。このとき、「zzxxjalp」「azbycxxyrk」といったアルファベットの羅列をシャノンの理論に当てはめると、文字数の多い「azbycxxyrk」の方が情報量が大きいといえます。しかし、両者は意味を持つ英単語ではありません。

「bird(鳥)」「crow(カラス)」の2つの単語には、26文字のアルファベットのうち4文字が含まれており、シャノンの情報理論では同じ情報量を持ちます。このため、「Tweety is a bird(トゥイーティーは鳥である)」「Tweety is a crow(トゥイーティーはカラスである)」という2つの文はシャノンの情報理論では同じ情報量を持ちますが、「鳥」という単語は「鳥以外の動物である」という情報を削除するのに対し、「カラス」という単語は「カラス以外の鳥である」という情報を削除できるため、直感的には「トゥイーティーはカラスである」という文の方が情報量が多く感じるとスローマン氏は指摘しています。


スローマン氏は、「シャノンの情報理論では、情報量を信号の種数と組み合わせ可能な数によって規定します。そのため、私たちが『意味』『内容』と呼ぶものと、シャノンの情報には関係がありません」と述べています。

また、スローマン氏は、18世紀から19世紀にかけて活動した小説家ジェイン・オースティンが1813年に発表した「高慢と偏見」に「information(情報)」という単語が多用されていることを例に挙げ、「オースティンの小説に用いられているような、『意味』『内容』といった側面を持つ『情報』と、シャノンの情報理論における『情報』を混同してはいけません」と述べています。

この記事のタイトルとURLをコピーする

・関連記事
情報理論の父と呼ばれるクロード・シャノンの功績とは? - GIGAZINE

「なぜ科学と政治は切り離せないのか」を老舗学術誌のNatureが語る - GIGAZINE

科学者が小説家から学んだ「よりよい科学論文を書くいろは」を学術論文雑誌のNatureが紹介 - GIGAZINE

科学はなぜ権威を失ったのか?そしてどうすれば権威を取り戻すことが可能なのか? - GIGAZINE

多くの創作物の中で相反する「テクノロジー」と「魔法」の関係とは? - GIGAZINE

SF小説やファンタジー小説が新型コロナウイルスのパンデミックを経験する若者に精神的な強さを与えるとの主張 - GIGAZINE

・関連コンテンツ

in サイエンス, Posted by log1o_hf

You can read the machine translated English article here.