第二章 信息的度量 - 图文 下载本文

2.1.1 自信息

对于联合事件(多维随机变量):

联合自信息量: 二维联合集XY上元素( xi yj )的自信息量定义为

1I(xiyj)?log??logp(xiyj)p(xiyj)其中,xiyj是积事件;

p(xiyj) 是二维联合概率。

条件自信息量: 若事件xi在事件yj给定条件下的概率为p(xi| yj),则其条件自信息量定义为

1I(xi|yj)?log??logp(xi|yj)p(xi|yj)2.1.2互信息

定义:一个事件yj所给出关于另一个事件xi的信息定义为互信

息,用I(xi ;yj)表示。

defI(xi ;yj)?I(xi)?I(xi |yj)?logp(xi |yj)p(xi)含义:互信息I(xi ;yj)是已知事件yj后所消除的关于事件xi的不确定性,它等于事件xi本身的不确定性I(xi)减去已知事件yj后对xi仍然存在的不确定性I(xi|yj)。

2.1.2

理解:

信源互信息

干扰或噪声

消息信道p(xi)信宿xiI(xi)yjpxiyj??I(xi|yj)因此,已知事件yj后所消除的关于事件xi的不确定性为:

I?xi??Ixiyj??p(xi |yj)p(xi)即:

I(xi ;yj)?I(xi)?I(xi |yj)?logdef2.1.2互信息

消息信道p(xi)特例(无干扰信道):

信源信宿=1pxiyjxiI(xi)yj??=0I(xi|yj)因此,已知事件yj后所消除的关于事件xi的不确定性为:I?xi??Ixiyj?I?xi???即:I?xi;yj??I?xi?