確率論と情報理論

確率に関連する具体的な計算法の修得と情報理論の基礎概念を理解する事を目標とする．
情報理論は情報の伝達をいかに効率よく，また信頼性高く行うかに関する理論であり，その数学的基礎として確率論は欠くべからざるものである．
この授業では，まず確率分布や平均，分散など基本的な事柄を学んだ後，大数の法則や中心極限定理といった確率に関する重要な性質について理解する．次にこれを基礎として情報量やエントロピーといった概念を導入し，これら諸量が情報理論の基本的な問題にどのように関わってくるかについて学ぶ．

達成目標

1.	条件付確率，ベイズの定理などの意味を理解した上で具体的な計算ができる．
2.	確率密度関数が与えられたとき、平均、分散、モーメントの計算ができる。
3.	離散確率分布が与えられたときにエントロピーを計算できる．
4.	エントロピーと相互情報量の関係を説明できる．
5.	情報源符号化定理の意味するところを説明できる．

授業計画

1.	ガイダンス，情報とは何か
2.	確率の定義
3.	確率変数と分布関数
4.	期待値と特性関数
5.	代表的な確率分布（１）
6.	代表的な確率分布（２）
7.	大数の法則と中心極限定理
8.	情報量
9.	平均情報量の性質
10.	情報源モデル
11.	情報源符号化
12.	具体的符号化法
13.	通信路と相互情報量
14.	通信路符号化
15.	試験【科目の達成目標】確率に関連する計算法および情報理論の基礎概念の修得

評価方法と基準

教科書・参考書

参考書
「工学のための確率論」鳥脇純一郎 (オーム社, 2002)
「情報理論のエッセンス」平田廣則（昭晃堂, 2005)

開講部	工学部
開講学科	情報工学科
開講学年	1年次
開講時期	後期
単位数	2
単位区分	選択
系列区分	専門
講義区分	講義

L0210000

授業の概要

達成目標

授業計画

評価方法と基準

教科書・参考書

履修前の準備

オフィスアワー

環境との関連