| 准教授 | 佐々木昌浩 |  |
情報理論 |
Information Theory |
開講部 | 工学部 |
開講学科 | 電子工学科 |
開講学年 | 3年次 |
開講時期 | 前期 |
単位数 | 2 |
単位区分 | 選択必修 |
系列区分 | 専門 |
講義区分 | 講義 |
| 准教授 | 佐々木昌浩 | |
| 1. | 情報源符号化の物理的な意味を説明できるようになる．（授業計画１〜７に対応） |
| 2. | 情報伝達と相互情報量の関係について説明できるようになる．（授業計画８〜９に対応） |
| 3. | 通信路符号化の物理的な意味を説明できるようになる．（授業計画１０〜１２に対応） |
| 4. | 誤り訂正符号の考え方を説明できるようになる．（授業計画１３〜１４に対応） |
| 【授業計画】 | 【授業時間外課題（予習および復習を含む）】 | |
| 1. | 導入 ・情報理論の目的 ・情報理論の応用分野 | 不要 |
| 2. | 情報源のモデル化 ・情報源の数学モデル ・結合確率分布による表現 | 結合確率分布と条件付確率 |
| 3. | 情報源の性質 ・無記憶情報源と記憶のある情報源 ・情報源の定常性・エルゴート性・マルコフ性 | マルコフ過程の基礎 |
| 4. | 情報源と状態遷移図 ・状態遷移図の書き方 ・正規マルコフ情報源 ・状態遷移行列と定常分布 | 状態遷移図と定常分布 |
| 5. | 情報源符号化 ・平均符号長 ・符号の評価基準 ・符号の木 ・クラフトの不等式 | 平均符号長の求め方 |
| 6. | ハフマン符号 ・平均符号長の限界 ・ハフマン符号 ・ハフマン符号の応用例 | ハフマン符号 |
| 7. | 情報源符号化定理 ・n次拡大情報源とブロック符号化 ・情報源符号化定理とその証明 ・情報源符号化定理およびエントロピーの物理的意味 ・様々な情報源のエントロピー | 情報源符号化定理 |
| 8. | 情報量 ・情報の持つ性質 ・情報量の定義 ・情報量の最大値と最小値 ・冗長度 | エントロピーの考え方 |
| 9. | 相互情報量 ・情報の伝達 ・相互情報量の定義 ・相互情報量の物理的意味 ・相互情報量とエントロピーの関係 | 条件付確率 |
| 10. | 通信路符号化 ・通信路の確率統計的モデル ・無記憶通信路と通信路行列 ・記憶のある通信路 | ビット誤り率 |
| 11. | 通信容量 ・2元対称通信路 ・通信路行列 ・通信容量 | ビット誤り率と通信容量の関係 |
| 12. | 通信路符号化定理 ・通信路符号化に対する要請 ・通信路符号化定理 | 通信路符号化定理 |
| 13. | 誤り訂正符号(I) ・誤りの検出と訂正の必要性 ・ハミング距離 | ハミング距離の概念 |
| 14. | 誤り訂正符号(II) ・各種誤り訂正符号と応用例 | パリティチェックとハミング符号 |
| 15. | 定期試験(試験終了後配布解答を用いて解説) | 試験準備 |
| ・ | 質問等は講義中・講義後に随時受け付ける．それ以外の時間帯では研究室（１０Ａ３２）にて個別対応する． |