第一章 绪论 1
1.1 信息的基本概念 1
1.1.1 信息概念的复杂性 1
1.1.2 信息的定义 3
1.2 信息论的研究目的和内容 4
1.2.1 信息传输基本模型 4
1.2.2 信息论研究的内容 6
1.2.3 目前信息论的主要研究成果 7
1.3 信息论的发展历程与应用概述 9
1.3.1 信息论发展简史 9
1.3.2 信息论的应用 12
习题 15
第二章 信息的度量 16
2.1 信源模型 16
2.2 信息的描述 17
2.3 不确定性与信息 18
2.3.1 自信息量 19
2.3.2 联合自信息量 19
2.3.3 条件自信息量 20
2.3.4 自信息量的性质和相互关系 21
2.3.5 互信息量及其性质 22
2.4 离散随机变量的(统计)平均不确定性度量——离散熵 25
2.4.1 离散熵 25
2.4.2 离散熵的性质 27
2.5 联合熵和条件熵 29
2.5.1 联合熵 30
2.5.2 条件熵 30
2.5.3 各类熵之间的关系 30
2.6 平均互信息量及其性质 31
2.7 离散无记忆信源的扩展 32
2.8 离散有记忆信源的熵 34
2.9 马尔可夫信源的信息熵 34
2.9.1 马尔可夫链 35
2.9.2 马尔可夫信源 36
2.9.3 马尔可夫信源的信息熵 38
2.10 离散信源的信息(速)率和信息含量效率 40
2.11 连 |
