Course title
Z37101002
Information Theory

 MANO Kazunori Click to show questionnaire result at 2019
Course description
情報通信における情報の蓄積・伝達の効率化・高信頼化についての基礎理論を理解する．シャノン流の情報理論について，その情報源・通信路の数学的モデル化と具体的符号化について解説する．また，講義の実際的理解を助けるために演習を実施する．
Purpose of class
世の中の情報通信をシャノン流の情報理論に基づくシステムとして見ることができるようになる．
Goals and objectives
  1. シャノンの情報伝達の基本モデル、情報量・エントロピー、情報源符号化定理，通信路容量、通信路符号化定理，誤り検出・訂正の諸概念について定義の説明，定理の説明ができる．
  2. 演習と実習によって，情報量・エントロピー，通信路容量の計算等ができ，ハフマン符号化・ユニバーサル符号化等の情報源符号化について実データ処理ができる．
  3. 様々な情報通信システムにおいて，情報理論の応用例を説明できる．
Language
Japanese
Class schedule

 Class schedule HW assignments (Including preparation and review of the class.) Amount of Time Required
1. 授業概要，情報とは何か,情報伝達の基本モデル,情報・符号・暗号理論、数学的予備知識 シラバスを読む．「情報」の定義を調べる． 60minutes
情報伝達モデル・数学予備知識復習 120minutes
2. 情報源モデルと情報量(1)：ディジタル情報源，定常・マルコフ情報源 情報源モデルと情報量(1)の配布資料を読む 70minutes
情報源モデルと情報量(1)の復習 120minutes
3. 情報源モデルと情報量(2)：情報量，エントロピー，典型系列，ダイバージェンス，相互情報量 情報源モデルと情報量(2)の配布資料を読む 70minutes
情報源モデルと情報量(2)の復習 120minutes
4. 実習(1)：情報量・エントロピーの計算 実習(1)．C言語プログラム作成・実行． 190minutes
5. 通信路モデルと符号(1)：符号と符号化，可分符号 通信路モデルと符号(1)の配布資料を読む 70minutes
通信路モデルと符号(1)の復習 120minutes
6. 通信路モデルと符号(2)：通信路，通信路容量 通信路モデルと符号(2)の配布資料を読む 70minutes
通信路モデルと符号(2)の復習 120minutes
7. 情報源符号化(1)：拡大情報源、情報源符号化定理 情報源符号化(1)の配布資料を読む 70minutes
情報源符号化(1)の復習． 120minutes
8. 情報源符号化(2)：ハフマン符号化 情報源符号化(2)の配布資料を読む 70minutes
情報源符号化(2)の復習 120minutes
9. 情報源符号化(3)：可変長情報系列の符号化、算術符号化 情報源符号化(3)の配布資料を読む 70minutes
情報源符号化(3)の復習 120minutes
10. 情報源符号化(4)：ユニバーサル符号化、辞書法、ブロックソート法 情報源符号化(4)の配布資料を読む 70minutes
情報源符号化(4)の復習 120minutes
11. 実習(2)：情報源符号化の計算 実習(2). C言語プログラム作成・実行． 190minutes
12. 通信路符号化(1)：復号と受信空間、誤り検出・訂正 通信路符号化(1)の配布資料を読む 70minutes
通信路符号化(1)の復習 120minutes
13. 通信路符号化(2)：通信路符号化定理 通信路符号化(2)の配布資料を読む 70minutes
通信路符号化(2)の復習 120minutes
14. 期末試験，全体のまとめ 総復習・試験準備 190minutes
Total. - - 2650minutes
Relationship between 'Goals and Objectives' and 'Course Outcomes'

 演習（課題レポート） 実習（データ処理） 期末試験 Total.
1. 15% 40% 55%
2. 20% 20%
3. 15% 10% 25%
Total. 30% 20% 50% -
Evaluation method and criteria
演習及び実習（あわせて50%）と期末試験成績（50%）とし，総合点の60%以上を合格とする．
Textbooks and reference materials
○教科書
とくになし．
必要に応じて資料を配布する．

○参考書
(1)「はじめての情報理論 第2版」稲井寛，森北出版 2020.
(2)「情報理論　改訂第２版」今井秀樹，オーム社 2019.
(3)「通信の数学的理論」クロード E. シャノン，ワレン・ウィーバー著，植松友彦訳（ちくま学芸文庫）2009.
Prerequisites
実習においてC言語を使用するので簡単な使い方を身につけて置くこと．
Office hours and How to contact professors for questions
  • 月曜 13:10-14:50
Regionally-oriented
Non-regionally-oriented course
Development of social and professional independence
  • Course that cultivates an ability for utilizing knowledge
  • Course that cultivates a basic problem-solving skills
Active-learning course
More than one class is interactive
Course by professor with work experience
Work experience Work experience and relevance to the course content if applicable
Applicable ディジタル音声符号化方式や音声合成サービスの開発に従事していた経験を活かし，情報理論の基礎理論が，音声圧縮・符号化や誤り訂正，音声・言語処理といった分野といかに関連しているかをわかりやすく説明する．
Education related SDGs:the Sustainable Development Goals
  • 4.QUALITY EDUCATION
  • 9.INDUSTRY, INNOVATION AND INFRASTRUCTURE
  • 12.RESPONSIBLE CONSUMPTION & PRODUCTION
Last modified : Sat Mar 19 00:30:14 JST 2022