信息论论文[定稿].docx

信息论论文[定稿]

第一篇：信息论论文[定稿]湖南科技大学课程结课论文《信息论与编码A》学院：信息与电气工程学院专业：班级：学号：姓名：信息论基础摘要：从对信息论的一些基础知识汇总，信息的定义，信息论的发展；还有信源与信息熵，信道与信道容量，编码这些关键知识点做一个系统性的回顾，再结合通信领域的知识进行分析。关键字：信息论；引言：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。名称由来：信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。发展简史：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。1948年克劳德·香农（ClaudeShannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。由于现代通讯技术飞速发展和其他学科的交叉渗透，信息论的研究已经从香农当年仅限于通信系统的数学理论的狭义范围扩展开来，而成为现在称之为信息科学的庞大体系。信息的性质：信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。基本内容：传统的通信系统如电报、电话、邮递分别是传送电文信息、语声信息和文字信息的；而广播、遥测、遥感和遥控等系统也是传送各种信息的，只是信息类型不同，所以也属于信息系统。有时，信息必须进行双向传送，例如电话通信要求双向交谈，遥控系统要求传送控制用信息和反向的测量信息等。这类双向信息系统实际上是由两个信息系统构成。所有信息系统都可归纳成如图所示的模型来研究它的基本规律。信源：信息的源泉或产生待传送的信息的实体，如电活系统中的讲话者，对于电信系统还应包括话筒，它输出的电信号作为含有信息的载体。信息熵：所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据CharlesH.Bennett对Maxwell'sDemon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。信宿：信息的归宿或接受者，在电话系统中这就是听者和耳机，后者把接收到的电信号转换成声音，供听者提取所需的信息。信道：传送信息的通道，如电话通信中包括中继器在内的同轴电缆系统，卫星通信中地球站的收发信机、天线和卫星上的转发器等。编码器：在信息论中是泛指所有变换信号的设备，实际上就是终端机的发送部分。它包括从信源到信道的所有设备，如量化器、压缩编码器、调制器等，使信源输出的信号转换成适于信道传送的信号。译码器：是编码器的逆变换设备，把信道上送来的信号转换成信宿能接受的信号，可包括解调器、译码器、数模转换器等。哈夫曼码：哈夫曼码是用概率匹配方法进行信源编码。它有两个明显的特点：一是哈夫曼的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码；二是缩减信源的最后两个码字总是最后一位不同，从而保证了哈夫曼码是即时码当信源和信宿已给定、信道也已选定后，决定信息系统性能就在于编码器和译码器。设计一个信息系统时，除了选择信道和设计其附属设施外，主要工作也就是设计编译码器。一般情况下，信息系统的主要性能指标是它的有效性和可靠性。有效性就是在系统中传送尽可能多的信息；而可靠性是要求信宿收到的信息尽可能地与信源发出的信息一致，或者说失真尽可能小。最佳编译码器就是要使系统最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常导致不可靠，反