This is the Japanese translation of this site.
2024/2/29 6:20
私の著書『The Design Inference』の初版とその続編『No Free Lunch』が出版されたことで、デザイン推論と情報理論とのつながりを明瞭にすることがますます急務となりました。つながりがあることは明らかでした。『Design Inference』の初版では、エピローグで、特定性と確率の小さい (複雑な) 事象の間の関係が、どのように送信者から受信者への通信チャネルを介したメッセージの伝達を反映しているかについて概略を述べました。さらに、『No Free Lunch』では、シャノン情報とコルモゴロフ情報の両方が明示的に、特定された複雑性に関連して言及されています。これがこの連載の主題です。
しかし、当時特徴付けられたところの特定された複雑性は、情報論的な考え方を採用していたとはいえ、明確に定義された情報測度を構成してはいませんでした。特定された複雑性は、論理学、統計学、情報学のアイディアを組み合わせたクラッジのように見えました。『Philosophia Christi』の特別号の客員編集者だったジェイ・リチャーズは、特定された複雑性と情報理論とのつながりを明確にするよう私に求めました。これに応えて、私は「Specification: The Pattern That Signifies Intelligence」と題する論文を書き、2005年に同誌に掲載されました。
単一の測度
その論文で、私は特定された複雑性を、デザイン推論の鍵となる全ての要素、特に小さな確率、特定性、確率資源、普遍的確率限界を1つ屋根の下に結合した単一の測度として定義しました。本質的には、そこで明瞭にした測度において、私はデザイン推論の方法論全体を単一の数学的表現に収めようとしました。
振り返ってみると、特定された複雑性についての、現在では完全に発展した情報論的説明のための鍵となる小片は、全てその論文にありました。しかし、そこでの特定された複雑性の私の扱い方にはかなりの改善の余地がありました。私は、与えられた長さ以下の記述を全て列挙するために数え上げ測度を使いました。そしてこの測度の負の対数を取りました。これにより、記述長の最小値に対して適切に一般化されたコルモゴロフ情報と同等のものが得られました。しかし、私のアプローチはデザイン推論の方法論をカプセル化することに焦点を当てていたため、特定された複雑性の定義におけるシャノン情報とコルモゴロフ情報の役割は不明瞭でした。
私の2005年の特定された複雑性についての論文は印刷機から死産した状態でしたが、明瞭性の欠如からすれば当然でしょう。8年後、ウィンストン・エバートは、『Evolutionary Informatics Lab』のロバート・マークスおよび私と協働し、特定された複雑性を統一された測度として独自に定式化しました。それは本質的には私の2005年の論文と同じ測度でしたが、エバートは特定された複雑性の定義におけるシャノン情報とコルモゴロフ情報両方の位置づけを明瞭にしました。エバートは、共著者としてマークスと私を加え、「Algorithmic Specified Complexity」というタイトルの下にこの研究を発表し、それからこの研究の後に続く応用例を発表しました (『Evolutionary Informatics Lab』の出版物のページをご覧ください)。
エバートの主導により、情報測度としての特定された複雑性は、シャノン情報とコルモゴロフ情報の差となりました。したがって記号では、ある事象Eに対する特定された複雑性 SC は SC(E) = I(E)－K(E) と定義されました。この式中の I(E) の項はちょうど、前回の記事で見たように、シャノン情報、すなわち I(E)=－log(P(E)) であり、ここで P(E) は、関連する基本的な偶然仮説についての E の確率です。この式における K(E) の項は、前回の記事と一致して、コルモゴロフ情報をわずかに一般化したものであり、ある事象Eに対して K(E) は、E を正確に特定する最も短い記述長をビット単位で与えます。このコルモゴロフ情報の一般化の根底にあるのは、二進法で接頭辞なしのチューリング完全な言語で、この言語による記述を、それが特定する事象にマップするものです。
単なるクラッジではない
この直近の段落には多くのことが詰め込まれているので、「特定された複雑性を簡潔に」というタイトルの記事でその全てを詳細に説明しても有益ではないでしょう。詳細は『The Design Inference』第2版の6章をご覧ください。それでも、このように定義されたSCが統一された情報測度として道理にかなっており、シャノン情報とコルモゴロフ情報の単なるクラッジではないことを示すために、いくつかの鍵となる点を強調する価値はあります。
特定された複雑性のこの定義において、シャノン情報とコルモゴロフ情報を共に首尾一貫した全体としてまとめているものは、事象と記述の双対性です。事象 (およびそれらが産み出す物体や構造) は世界において起こります。事象の記述は言語において起こります。したがって、ある事象Eに対応するのは、E を特定する記述 D です。例えば、ハートのスートでロイヤルフラッシュを得るという事象は、「ハートのスートでのロイヤルフラッシュ」という記述に対応します。もちろん、このような記述は決して一意ではありません。同じ事象は常に複数の方法で記述することができます。したがって、この事象は「ハートのエース、ハートのキング、ハートのクイーン、ハートのジャック、ハートの10の5枚のカードから成るポーカーの役」と記述することもできます。ただし、この記述はもう一方よりもかなり長くなっています。
事象と記述の双対性から、以下が導き出せます。(1) 確率 P(E) を持つ事象Eは、ビットで測定されるシャノン情報 I(E) を持ちます。さらに、(2) 二進言語 (ビットで表現される言語で、全ての言語はビットで表現できます) が与えられたとき、Eを特定する任意の記述Dについて、前節で |D| と定義したDを構成するビットの数は、Eのコルモゴロフ情報 (Eを特定する最短の記述をビットで測定したもの) よりも小さくはなりません。したがって、K(E) ≤ |D| なので、SC(E) = I(E)－K(E) ≥ I(E)－|D| となります。
ここで覚えていただきたい最も重要なことは、特定された複雑性がシャノン情報とコルモゴロフ情報を同じ基準で扱えるようにしていることです。特に、特定された複雑性は事象の確率に関連するビットを取り上げて、そこから長さが最小の記述に関連するビットを引きます。さらに、K(E) を推定する際、I(E)－|D| を用いて特定された複雑性の下限を形成します。このことから、特定された複雑性にはいろいろな度合があり、負の値を取り得るということになります。しかし、実践的には、ある事象が正で大きい場合に、特定された複雑性を示すということにします (大きいというのが何を意味するかは、関連する確率的リソースに依存します)。
クラフトの不等式
特定された複雑性を、単なるシャノン情報とコルモゴロフ情報の恣意的な組み合わせではなく、自然な情報測度とする最後の事実があります。それがクラフトの不等式です。特定された複雑性のクラフトの不等式をここで適用することは、記述を事象にマップする言語が接頭辞なしであることに依存します。接頭辞なしの言語は、曖昧性の除去を保証するのに役立ち、ある記述が別の記述の始まりにならないようにします。これは面倒な条件ではなく、自然言語では成り立たないものの、自然言語を接頭辞なしの言語に変換しても、記述長の増加は無視できる程度です (繰り返しになりますが、『The Design Inference』第2版の6章をご覧ください)。
ある事象Eの特定された複雑性に対してクラフトの不等式が行うのは、それ以上の特定された複雑性が持つ全ての事象を結合して1つの大きな総体として考えたとき、確率はその特定された複雑性を2の負の指数にした値以下になることの保証です。言い換えると、特定された複雑性がEのそれより小さくない全ての事象の結合 F (すなわち、SC(F) ≥ SC(E)) の確率は、2－SC(E) 以下になります。このように述べると、この結果は特定された複雑性を簡潔にしようと試みる一連の記事に属するものではないように見えるかもしれません。しかし、これは数学的には大きな結果であり、特定された複雑性とデザイン推論を導出するために重要な確率の境界を結びつけるものです。これがどのように機能するかを例示するために、次回は道路に沿って走る車を例にとってみましょう。
次回: 「10台のマリブの物語」
編集部注: この記事は当初BillDembski.comに掲載されたものです。
