新浪博客

. (7)
这时, 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性. 反过来,若
统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性, (8)

统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性.
这种情况称 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性统计独立(statistical independence),或 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性独立. 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性不独立也叫 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性统计相依(statistical dependence).也就是:P(A|B) = P(B) 或者P(A,B) = P(A)*P(B)
多个事件互相独立:
统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性 (10)

则称 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性, 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性, 统计学习方法(3)-贝叶斯定理与变量的独立性以及条件独立性相互独立.


条件独立:
条件独立是条件概率的独立性,条件概率也是一种概率,只不过是将事件的空间集合改变。
设有事件R和B,当它们在事件Y定义的空间上相互独立时要满足

或者表达成

R和B在给定事件W的条件下独立时,表达为

要注意的是,X和Y独立与X和Y条件独立没有关系。显然,条件独立无法推得独立,同样的相互独立也无法保证在任意空间上条件独立。
两个事件关于某一个事件乘积的概率,等于条件概率的积。P(AB/C)=P(A/C)P(B/C)则A、B条件独立(在条件C已知的前提下独立) 或者P(A|C)=P(A|BC)也称为条件独立。
证明:
设A、B、C为事件,P(ABC)>0,如果P(AB|C)=P(A|C)P(B|C),则( D)
(A)P(C|AB)=P(C|A). (B)P(C|AB)=P(C|B). (C)P(B|AC)=P(B|A). (D)P(B|AC)=P(B|C).

解答:由P(ABC)>0, P(AB|C)=P(A|C)P(B|C)
可知P(AB)=P(A)P(B) 且P(A)>0,P(B)>0,P(C)>0
因为若P(A)>0,P(B)>0,P(C)>0不满足,则P(ABC)>0不成立。
因为P(AB|C)=P(A|C)P(B|C) ,两边同时乘以P(C) 使左边为P(ABC)
==> P(ABC)=P(AC)*P(B|C) (1)
P(ABC)=P(BC)*P(A|C) (2)
对(1)式变形,即可得到:P(ABC)/P(AC)=P(B|C)
又 因为P(AC)*P(B|AC)=P(ABC) 所以P(B|C)=P(B|AC),答案为D
同理,对(2)式变形,可得到P(A|C)=P(A|BC)

0 引言

事实上,介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少,比如《数理统计学简史》,以及《统计决策论及贝叶斯分析 James O.Berger著》等等,然介绍贝叶斯网络的中文资料则非常少,中文书籍总共也没几本,有的多是英文资料,但初学者一上来就扔给他一堆英文论文,因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的(当然,有了一定的基础后,便可阅读更多的英文资料)。
11月9日上午,机器学习班第9次课,邹博讲贝叶斯网络,其帮助大家提炼了贝叶斯网络的几个关键点:贝叶斯网络的定义、3种结构形式、因子图、以及Summary-Product算法等等,知道了贝叶斯网络是啥,怎么做,目标是啥之后,相信看英文论文也更好看懂了。
故本文结合邹博第9次课贝叶斯网络的PPT 及相关参考资料写就,从贝叶斯方法讲起,重点阐述贝叶斯网络,依然可以定义为一篇读书笔记或学习笔记,有任何问题,欢迎随时不吝指出,thanks。

1 贝叶斯方法

长久以来,人们对一件事情发生或不发生的概率 ,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大。而且概率 虽然未知,但最起码是一个确定的值。比如如果问那时的人们一个问题:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率 是多少?”他们会想都不用想,会立马告诉你,取出白球的概率 就是1/2,要么取到白球,要么取不到白球,即θ只能有一个值,而且不论你取了多少次,取得白球的概率θ始终都是1/2,即不随观察结果X 的变化而变化。
这种频率派的观点长期统治着人们的观念,直到后来一个名叫Thomas Bayes的人物出现。

1.1 贝叶斯方法的提出

托马斯·贝叶斯Thomas Bayes(1702-1763)在世时,并不为当时的人们所熟知,很少发表论文或出版著作,与当时学术界的人沟通交流也很少,用现在的话来说,贝叶斯就是活生生一民间学术“屌丝”,可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”,翻译过来则是:机遇理论中一个问题的解。你可能觉得我要说:这篇论文的发表随机产生轰动效应,从而奠定贝叶斯在学术史上的地位。

事实上,上篇论文发表后,在当时并未产生多少影响,在20世纪后,这篇论文才逐渐被人们所重视。对此,与梵高何其类似,画的画生前一文不值,死后价值连城。
回到上面的例子:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率θ是多少?”贝叶斯认为取得白球的概率 是个不确定的值,因为其中含有机遇的成分。比如,一个朋友创业,你明明知道创业的结果就两种,即要么成功要么失败,但你依然会忍不住去估计他创业成功的几率有多大?你如果对他为人比较了解,而且有方法、思路清晰、有毅力、且能团结周围的人,你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式,便是贝叶斯式的思考方式
继续深入讲解贝叶斯方法之前,先简单总结下频率派与贝叶斯派各自不同的思考方式:
  • 频率派把需要推断的参数θ看做是固定的未知常数,即概率 虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;
  • 而贝叶斯派的观点则截然相反,他们认为参数

我的更多文章

下载客户端阅读体验更佳

APP专享