教育信息处理03.ppt

第二章教育信息熵学习要点教学目标第一节熵的概述第二节相对熵与冗余度第三节熵函数的展开第四节测试问题的信息量第五节教学过程的信息量分析第六节教育中质的数据信息量分析第七节CAI课件中的信息熵第八节信道容量与编码第一节熵的概述一、信息量的表示从n个概率相等的事件中选择其中一个的系统的信息量,其表示方式为H=log2n。信源输出的消息可以看作是随机事件，它的不确定度可根据其出现的概率来衡量：概率大，出现机会多，不确定程度小概率小，出现机会少，不确定程度大一、信息量的表示不确定度应满足可加性要求。可加性：N个不确定事件记为：x1，x2，•••，xn相应的概率P(xi)为：P1，P2，•••，Pn若这些事件彼此独立，则总的不确定性等于各分量不确定性的和，这就是不确定性的可加性。I(xj)=I(x)+I(j)设某一事件产生的概率为p，则信息量可定义为：H=loga(1/P)=-logaP其中，a＞1a可以取2(单位为bit)，e(单位为nat)，10(单位为dit)信息熵在熵的数学表达式中，常用的有：以2为底——单位为比特（bit）——以2为底的对数记为logx；以e（≈2.718）为底——单位为奈特（nat）——以e为底的对数记为lnx两者间的换算关系为：1比特=0.693奈特1奈特=1.443比特