新浪博客

马尔科夫链  强典型序列  渐进等分割性

2016-09-15 20:23阅读：

http://blog.sina.cn/dpool/blog/u/2895410842

2016年9月15日 星期四 晴 中秋节
对于节假日，我早就失去玩乐的心境了，所以可能才会这么累吧！刚开学，就已经压力倍增。
接着昨晚的复习。这些东西也就是对于最近学习的一种总结或是对自己所掌握的东西的测评。
一、还是一些基本的东西
1.Markov Chain(马尔科夫链)
对于马尔科夫链我的理解就是信源此刻发出的符号只与前一时刻的有关而与再往前的时刻都无关。就以三个随机变量为例：
X,Y,Z为三个随机变量，若 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性
形成马尔科夫链，则有以下两个结论
① p(x|y,z)=p(x|y) ② p(z|x,y)=p(z|y)
根据这两个结论可以很容易证得：
① H(X|Y,Z)=H(X|Y) ② H(Z|X,Y)=H(Z|Y) 和① I(X;Y)>=I(X;Z) ②I(X;Z)=
与马尔科夫链相关的一个概念是 条件独立：
X,Y,Z是三个随机变量，在Z的条件下X与Y独立的定义是p(x,y|z)=p(x|z)p(y|z).
可以证明对于三个随机变量形成的马尔科夫链与这三个随机变量条件独立是等价的。对于三个随机变量以上的马尔科夫链的定义书上是这么定义的：
马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性


根据三个随机变量可以很容易归纳总结到上述定义。马尔科夫链还有一些性质，就记得下面两个：

1）对称性： 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 是马尔科夫链，那么 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 也是马尔科夫链。
2）若 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 是马尔科夫链，那么其任意子链也是马尔科夫链，例如： 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 是马尔科夫链。注意子链必须得是按顺序从中去掉某一个或几个的排列起来的链状（这句话也就我能看得明白吧）
2.FANO’S INEQUALITY（费诺不等式）
对于这个不等式，我只能领悟到，H(X| 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 )是与Pe有关的，当Pe为0时，此熵就为0。 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 为X的估计值。也就是说我们让Pe趋近于0，就可以让在 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 条件下关于X的不确定性就会趋近于0。对了，下面的定义中， 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 是二进制熵函数，Pe是错误概率。好像说是信道编码定理的证明会用到这个不等式，等学到那一块的时候可能会更加理解这个不等式吧
360截图20160915131551358.jpg
二．终于要看到令我纠结不已的部分了——强典型（strong typicality）
课本上介绍了很多东西，对于我这种没入门的人，这部分我只需掌握两大分支，一个是强典型集（strongly typical set）和强渐进等分割性（strongly asymptotic equipartition property 简写 strong AEP ），另一个是强联合典型集(strongly jointly typical set)和 strong JAEP。
首先最最最重要的是区分信息论符号所代表的意义，之前一直是两本书一同进展，符号各不相同，总会令人头昏脑涨的。下面是自己的理解了。希望是对的。
1） X（大写的）:表示随机变量；
2） x(小写的)：表示随机变量的取值；
3） X（黑体的大写X）：表示随机向量（随机矢量）；例如：X=(X1，X2，X3，… ,Xn) 表示随机向量X是由n个随机变量组成的；在书写的时候写成 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 可能会比较容易理解，n表示由n个随机变量组成。
4） X（黑体的小写x）：表示随机向量的取值；例如：x=(x1, x2, x3,…,xn)，同样在书写的时候可以写成 马尔科夫链 <wbr> <wbr>强典型序列 <wbr> <wbr>渐进等分割性 。
5） 360截图20160915145336555.jpg：表示字符集，就是随机向量中每一个随机变量的值都是从这个字符集中取得的，n表示有n种不同的字符。
1. strongly typical set(强典型集)
抽象的定义如下：
360截图20160915165611374.jpg
在这几天的苦思冥想中我得到以下几点的领悟：
1） 首先我们必须知道，强典型集是在i.i.d.信源中产生的，什么是i.i.d.信源呢？independent，identify，discrete。即：在这样的信源中，每个随机变量是相互统计独立的，并且服从统一概率分布p(x)。
2） 那么什么是强典型集呢？在i.i.d.信源所产生的序列中，有一少部分序列具有这样的属性：这些序列的频率趋近于他们出现的概率。

我的更多文章

下载客户端阅读体验更佳

APP专享