情報理論

FrontPage > 情報理論 (Now)

はじめに †

Introduction to Information Theory
0101010....
数学的に理論をつけてみましょう

準備 †

コンピュータは、010101....の信号だけで動いています

数式表記の決まり †

Wolfram Mathematica7 Document Center

Mahematicaのドキュメント

1. できるだけ「Mathematica」または「WolframAlpha?」の表記にする事
2. 下付き文字（添字）の表記がなかったので「hoge_(2)」として表現してある

情報の表現 †

2進数 †

数式表現がほしい

binaryの桁数

L_(2)*(X) = Floor[Log[X]] + 1

binaryの少数表現

decimalと異なるので注意

binaryで使う数学

"Logarithmic Function"のみ！

Gray Code †

Gray Code とは

隣り合う符号語の違いがちょうど1bitとなるようにしたもの

Hamming distance

長さの等しい符号語2個有るとき、対応する桁のうち不一致となる桁の個数をそれらのハミング距離という

合同演算 †

合同演算

剰余演算に同じ

合同演算の表記

MOD

通常のCode と、Gray Code の相互変換

※未定義

「情報理論」 †

情報理論とは

情報に関係する論理的な制約を数学的に解明し、そのような制約の限界を達成する具体的な手段を構成しようとする学問である

目的

情報の量的構造の把握と符号化法の開発

特徴

情報のもつ意味や内容を捨て去り、量的な側面のみを抽象化することで、情報の持つ数理的・論理的本質を切り出すことに成功した

アルファベットと符号化 †

符号の例 †

情報理論の対象 †

情報量 †

情報源のモデル †

情報源符号化 †

情報通信路のモデル †

通信路符号化 †

有限体とその応用 †

参考資料 †

参考文献 †

教科書 †

情報理論の基礎 - 横尾英俊 2004 共立出版:?

大学で指定された教科書

cv services