当前位置:首页 >> 工学 >>

模式识别课程论文


模式识别中的贝叶斯决策

学 专 班

院 业 级

信息电子技术 电子信息工程 级1班

学 籍 号 姓 名

指导教师

信息电子技术学院
2016 年 10 月 25 日

模式识别就是机器识别,计算机识别或者机器自动识别,目的在 于让机器自动识别事物,如手写数字的识别,智能交通管理信号的识 别,文字识别,语音识别等。模式识别这个学科的目的就是让机器能 做人类能做的事情,具备人类所具有的对各种事物与现象进行分析, 描述与判断的部分能力。模式识别是直观的,无所不在。人与动物具 有模式识别的能力是非常平常的事情, 但是对计算机来说实现模式识 别是非常困难的。让机器能够识别,分类需要研究识别的 方法。而 模式识别可以概括为两个类型, 一个是直接形象的, 例如图片, 相片, 图案, 字符图案等; 另外的就是无知觉形象而只有数据或信号的波形, 如语音,声音,心电图,地震波等。 贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝 叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计, 然后用贝叶斯公式对发生概率进行修正, 最后再利用期望值和修正概 率做出最优决策。 贝叶斯决策理论方法是统计模式识别中的一个基本方法。 贝叶斯 决策判据既考虑了各类参考总体出现的概率大小, 又考虑了因误判造 成的损失大小,判别能力强。 贝叶斯方法更适用于下列场合: (1) 样本(子样)的数量(容量)不充分大,因而大子样统计理论不适 宜的场合。 (2) 试验具有继承性,反映在统计学上就是要具有在试验 之前已有先验信息的场合。用这种方法进行分类时要求两点: 第一,要决策分类的参考总体的类别数是一定的。例如两类参考 总体(正常状态 Dl 和异常状态 D2),或 L 类参考总体 D1,D2,…, DL(如良好、满意、可以、不满意、不允许、……)。 第二,各类参考总体的概率分布是已知的,即每一类参考总体出 现的先验概率 P(Di)以及各类概率密度函数 P(x/Di)是已知的。显然, 0≤P(Di)≤1,(i=l,2,…,L),∑P(Di)=1。 从信息价值的经济效用的角度, 讨论贝叶斯公式在风险决策中的 应用。首先根据期望值原则,以先验概率为基础,找到最优方案及其 期望损益值和风险系数,然后用决策信息修正先验分布,得到状态变

量的后验分布, 并用后验分布概率计算各方案的期望损益值找出最满 意方案,并计算其风险系数(这里计算的风险系数应比仅有先验条件 下计算的风险系数要小),最后求出掌握了全部决策信息值的期望损 益值。 用全部决策信息值的期望损益值减去没有考虑决策信息时的期 望收益,就得到了决策信息的价值。 1.贝叶斯决策所讨论的问题: 基于最小错误率的贝叶斯决策指出机器自动识别出现错分类的 条件, 错分类的可能性如何计算, 如何实现使错分类实现可能性最小; 基于最小错误风险的贝叶斯决策,引入了风险与损失概念,希望做到 使风险最小,减小危害大的错分类情况。错分类造成损失不一样,不 同的错误分类造成的损失也是不一样的, 不同的错误分类造成的损失 会不相同,后一种错误更加可怕,因此就考虑减小因错误分类造成的 危害损失。 2.贝叶斯算法 若已知总共有 M 类物体,以及各类在这 d 维特征空间的统计分 布,具体说来就是已知各类别 wi=1,2,…M 的先验概率 P(wi)及类 条件概率密度函数 P(X|wi) 。对于待测样品,贝叶斯公式可以计算 出该样品分属于各类别的概率,叫做后验概率,看 X 属于哪个类的 可能性最大,就把 X 归于可能性最大的那个类,后验概率作为识别 对象归属的依据。贝叶斯公式如下:

识别的状态就是一个随机变量, 而某种状态出现概率是可以估计 的。贝叶斯公式体现了先验概率,类概率密度函数,后验概率三者之 间的关系。 2.1 先验概率 P(wi) 先验概率 P(wi)针对 M 个事件出现的可能性而言,不考虑其 他条件。例如由统计资料表明总药品数为 n,其中正常药品数为 n1,

异常药品数为 n2,则
P( w1) ? P ( w2) ? n1 n n2 n

称 P(w1)和 P(w2)为先验概率。显然在一般情况下正常药品所 占比例比较大,即 P(w1)>P(w2),仅按照先验概率来决策,就会把 所有药品都划归为正常药品, 并没有达到将正常药品与异常药品区分 开的目的。这表明先验概率所提供的信息太少。 2.2 类条件概率密度函数 P(X/wi)是指在已知某类别的特征空间中,出现特征值 X 的概 率密度,即第 wi 类样品它的属性 X 是如何分布的。 在工程上很多的问题中,统计数据往往满足正态分布规律。正态 分布简单,分析方便,参量少,是一种适宜的数学模型。如果采用正 态密度函数是作为类条件概率密度的函数形式, 则函数内的参数如期 望方差是未知的, 那么问题就变成了如何利用大量样品对这些参数进 行估计,只要估计出这些参数,类条件概率密度函数 P(X|wi)也就 可以确定了。单变量正态分布概率密度函数为:

其中:u 为数学期望(均值) ; 多维正态密度函数为:

为方差。

其中: S 为 N 维协方差矩阵; S^-1 为 S 的逆矩阵 ? = (u1,u2,…,un) 为 N 维均值向量;X=(x1,x2,…,xN)为 N 维特征向量 在大多数情况下, 类条件概率密度函数是可以采用多维变量的正 太概率密度函数来模拟,即:

2.3 后验概率 后验概率是指呈现状态 X 时,该样品分属各类别的概率,这个 概率值可以作为识别对象归属的依据。 由于属于不同类的待识别对象 存在着呈现相同的观察值的可能, 即所观察到的某一样品的特征向量 为 X,而在类中有不止一类可能呈现这一值,它属于各类的概率可用 P(wi|X)表示。可以利用贝叶斯公式来计算这条件概率,称之为状 态的后验概率:

P(wi|X)是表示在 X 出现条件下,样品为 wi 类的概率。 2.4 P(w1|X)和 P(w2|X)与 P(X|w1)和 P(X|w2)的区别 P(w1|X)和 P(w2|X)是在同一条件下,比较 w1 与 w2 出现的概 率,如 P(w1|X)>P(w2|X),则可能的以下结论,在 X 条件下,事件 w1 出现的可能性比事件 w2 出现的可能性大。 P(w1|X)与 P(w2|X)都是指各自条件下出现 X 的可能性,两者 之间没有联系,比较两者没有意义。P(w1|X)与 P(w2|X)是在不同 条件下讨论问题,不能因为 P(w1|X)>P(w2|X),就认为 X 是第一类 事物的可能性较大。 3.算法的实现 3.1 基于最小错误率贝叶斯分类实现数字样品的识别实现: 在手写的数字识别中属于多类情况,每类样品呈正态分布。 (1)求出每一类手写数字样品的均值
xi ? 1 Ni xij ? ( xi1, xi 2,..., xin)T , i ? 0,1, 2,...,9 ? Ni j ?1

Ni 代表 wi 类的样品个数,n 代表特征数目。

(2)求每一类的协方差矩阵
sjk i ? 1 Ni ? ( xlj ? xj )( xlk ? xk ), j, k ? 1, 2,..., n Ni ? 1 l ?1

L 代表样品在 wi 类中的序号,其中 l=0,1,2,…,Ni。 Xlj 代表 wi 类的第 L 个样品,第 J 个特征值。
xj 代表 wi 类的 Ni 个样品第 j 个特征的平均值。

Xlk 代表 wi 类的第 l 个样品,第 K 个特征值。
xk 代表 wi 类的 Ni 个样品第 K 个特征的平均值。

Wi 类的协方差矩阵为:

(3) 计算出每一类的协方差矩阵的逆矩阵 Si^-1 以及协方差矩阵 的行列式|Si|。 (4)求出每一类的先验概率:
P(wi) ? Ni / N , i ? 0,1, 2,...,9

其中 P(wi)为类别为数字 i 的先验概率, Ni 为数字 i 的样品数, N 为样品总数。 (5)将各个数带入判别函数
1 1 hi ( X ) ? ? ( X ? Xi )T ) Si ?1 ( X ? Xi ) ? ln P( wi ) ? ln | Si | 2 2

(6)判别函数最大值所对应就是手写数字的类别。 3.2 基于最小风险的贝叶斯分类实现 (1)求出每一类手写数字样品的均值。
Xi ? 1 Ni Xij ? ( xi1, xi 2,..., xin)T , i ? 0,1, 2,...,9 ? Ni j ?1

Nj 代表 wi 类的样品个数,n 代表特征数目。 (2)求每一类的协方差矩阵。

sjk i ?

1 Ni ? ( X lj ? xj)( xlk ? xk ), j, k ? 1, 2,..., n Ni ? 1 l ?1

Wi 类的协方差矩阵为

(3) 计算出每一类协方差矩阵的逆矩阵 Si 以及协方差矩阵行列 式 | Si | . (4)求出每一类的先验概率
P( wi ) ? Ni , i ? 0,1, 2,...,9 N

?1

其中 P(wi)为类别为数字 i 的先验概率,Ni 为数字 i 的样品 数,N 为样品总数。 (5)定义损失数组为 loss[10][10].设初值为
?0, i ? j loss[i][ j ] ? ? ?1, i ? j

(6)计算每一类损失 risk[i]:
risk[i] ? ? loss[i][ j ]P[ j ]
j ?0 9

(7)找出最小损失所对应的类,该类即是待测样品所属的类别。 贝叶斯决策分析是以贝叶斯理论为基础的, 由贝叶斯定理可以得 出通过抽样增加信息量可以减少决策风险的结论, 这一结论保证了贝 叶斯决策的科学性。除此以外,贝叶斯决策通过对完全信息价值、抽 样信息价值及抽样信息价值减去抽样成本等指标的考察, 又从经济的 角度保障了该方法的可行性。 但是,仍存在一定的不足: (1)在进行贝叶斯分析时,判断是否进行实际抽样是以其具有的经 济价值为唯一标准。 但是, 抽样了之后不知道是否会改变决策的结果。

抽样需要一定的时间,时间可能会改变一个方案的优劣程度,另外, 抽样要花费的人力、物力、财力等,人力物力这些都是无法量化的和 比较的,所以会影响到决策的结果。 (2)在贝叶斯最小风险决策中虽然考虑了损失而使风险达到最小, 但是没有考虑是否达到了期望收益和期望效用的大小。 虽然该方法依 据贝叶斯理论, 通过抽样和其它技术使概率分布状况的准确性得以提 高,因此减少了决策风险,但是风险始终没有消除。而我们知道高收 益经常是与高风险相伴随的,单独考虑任何一个都不是完全的,最终 都可能出现与投资者初衷不一致的结果。 为了使贝叶斯决策方法更完善,应该对其决策方法进行改进。对 于原先只用期望受益和期望效用或只以最小风险为判断准则的方法 加以改进,形成以两者结合为标准的决策准则。每个指标赋予一定的 权重,依据个人的偏好程度得出决策的结果。 在风险决策中, 有很多如何确定信息的价值以及如何提高风险决 策可靠性的方法。根据不同的风险情况,要采取不同的风险决策分析 的方法。贝叶斯决策分析就是其中的一种。贝叶斯决策的观点使识别 问题的解决更注重了所采取行动的效果, 也使识别问题提法更加多样 化,从而开拓了某些新的研究领域。


赞助商链接
相关文章:
模式识别课程论文
模式识别课程论文_工学_高等教育_教育专区。模式识别课程设计 模式识别中基于概率统计的 Bayes 算 法分析 学号:1102100119 班级:自动化 111 班 姓名:许世坚 首先...
模式识别结课论文
模式识别课论文_教育学_高等教育_教育专区。智能视频分析技术课程论文 中国传媒大学 2014~2015 学年第 1 学期 课程 智能视频分析技术 题学班 目号级 人工智能...
模式识别课程论文
模式识别课程论文 - 模式识别中的贝叶斯决策 学专班 院业级 信息电子技术 电子信息工程 级1班 学籍号姓名 指导教师 信息电子技术学院 2016 年 10 月 25...
模式识别人工智能论文
模式识别人工智能论文_电脑基础知识_IT/计算机_专业资料。浅谈人工智能与模式识别...四、心得体会很荣幸能在本学期学习模式识别这门课程, 这是一门很实用并且有着...
模式识别课程论文
模式识别课程论文_设计/艺术_人文社科_专业资料 暂无评价|0人阅读|0次下载|举报文档 模式识别课程论文_设计/艺术_人文社科_专业资料。模式识别基础 课程设计总结...
模式识别-课程论文模板
模式识别-课程论文模板_实习总结_总结/汇报_实用文档。模式识别课程论文模板,大家可以参考 基于神经网络的模拟电路故障诊断方法研究 XXX (xxx学院 信息与通信工程学院...
模式识别论文
模式识别期末论文 7页 1下载券 模式识别课程论文 11页 免费 模式识别方面的论文...基于MATLAB 的 REF 神经网络的模式识别一. 神经网络介绍神经网络具有并行处理能力...
模式识别课程论文——人脸识别_gai
基于Opencv 和 Matlab 的人脸检测和识别——模式识别课程设计组长:宋海波组员:王思齐、颜陆红、贾琛、曾常和、秦亚超 人脸识别......
模式识别论文
模式识别课程论文 11页 免费 模式识别综述与展望 11页 1下载券 模式识别方法大作业实验... 15页 免费 K-L变换在人脸识别中的应... 6页 免费 《模式识别》...
模式识别论文
模式识别课程论文 11页 免费 模式识别论文--结束版本 23页 2下载券 模式识别小...决策二叉树多类分类的思想, 构建了基于支持向量机的水环境质量 状况识别与评价模...
更多相关标签: