信息论与编码绪论

信息论与编码,主讲： 李伟福州大学物信学院QQ：1350162701 Tel: 13960725322,第一章 绪论,第二章 离散信源及其信息熵,第三章 离散信道及其信道容量,第四章 信息率失真函数,第五章 信源编码,第六章 信道编码,第1章 绪 论,内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。首先引出信息的概念，进而简述信息传输系统模型的各个组成部分，及其各部分的核心问题。,物质、能量和信息是构成客观世界的三大要素。信息是关于事物运动的状态和规律，其内容具有不确定性。,通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。,信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。,广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。,实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。,通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。,各种通信系统，一般可概括为图1.1所示的统计模型：,这个模型包括以下五个部分：,3. 信道 信道是信息传输和存储的媒介。其核心问题是信道容量的大小,4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。,5. 信宿 信宿是消息的接收者。,2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。,1.信源 信源是产生消息的源。其核心问题是信息量的大小。,