当前位置:首页 >> 工学 >>

模式识别课程论文


模式识别课程设计

模式识别中基于概率统计的 Bayes 算 法分析

学号:1102100119 班级:自动化 111 班 姓名:许世坚

首先对模式识别所用到的理论、研究背景、研究现状及典型应用 进行全面的阐述;其次,探讨了如何提取数字字符的特征值 , 并对各种 分类器的设计方法及其优缺点进行了比较;最后采用了以模板库为基 础的基于二值数据的 Bayes 分类实现的识别方法,并以 VC++作为编程 工具实现了具有友好的图形用户界面的自由手写体数字识别系统。 给 出了部分实现算法的代码。实现了对字体数字的识别。

下面介绍阐述模式识别中用到的 Bayes 算法理论, 研究背景及其典型 应用,在典型应用中,探讨提取数字字符 bayes 算法分类器的设计方 法并比较其优缺点,给出其算法的 C++实现,利用 VC++实现编程工 具实现图形界面。 模式识别就是机器识别,计算机识别或者机器自动识别,目的在 于让机器自动识别事物,如手写数字的识别,智能交通管理信号的识 别,文字识别,语音识别等。模式识别这个学科的目的就是让机器能 做人类能做的事情,具备人类所具有的对各种事物与现象进行分析, 描述与判断的部分能力。模式识别是直观的,无所不在。人与动物具 有模式识别的能力是非常平常的事情, 但是对计算机来说实现模式识 别是非常困难的。让机器能够识别,分类需要研究识别的 方法。而 模式识别可以概括为两个类型, 一个是直接形象的, 例如图片, 相片, 图案, 字符图案等; 另外的就是无知觉形象而只有数据或信号的波形, 如语音,声音,心电图,地震波等。

Bayes 决策所讨论的问题: 基于最小错误率的 Bayes 决策指出机器自动识别出现错分类的条件, 错分类的可能性如何计算,如何实现使错分类实现可能性最小;基于 最小错误风险的 Bayes 决策,引入了风险与损失概念,希望做到使风 险最小,减小危害大的错分类情况。错分类造成损失不一样,不同的 错误分类造成的损失也是不一样的, 不同的错误分类造成的损失会不 相同,后一种错误更加可怕,因此就考虑减小因错误分类造成的危害 损失。 2.Bayes 算法 若已知总共有 M 类物体,以及各类在这 d 维特征空间的统计分布, 具体说来就是已知各类别 wi=1,2,…M 的先验概率 P(wi)及类条件 概率密度函数 P(X|wi) 。对于待测样品,Bayes 公式可以计算出该样 品分属于各类别的概率,叫做后验概率,看 X 属于哪个类的可能性 最大,就把 X 归于可能性最大的那个类,后验概率作为识别对象归 属的依据。Bayes 公式如下:

识别的状态就是一个随机变量,而某种状态出现概率是可以估 计的。Bayes 公式体现了先验概率,类概率密度函数,后验概率三者 之间的关系。 2.1 先验概率 P(wi)

先验概率 P(wi)针对 M 个事件出现的可能性而言,不考虑其他 条件。例如由统计资料表明总药品数为 n,其中正常药品数为 n1,异 常药品数为 n2,则
P( w1) ? n1 n n2 P ( w2) ? n

称 P(w1)和 P(w2)为先验概率。显然在一般情况下正常药品所占 比例比较大,即 P(w1)>P(w2),仅按照先验概率来决策,就会把所 有药品都划归为正常药品, 并没有达到将正常药品与异常药品区分开 的目的。这表明先验概率所提供的信息太少。 2.2 类条件概率密度函数 P(X/wi)是指在已知某类别的特征空间中,出现特征值 X 的概率密 度,即第 wi 类样品它的属性 X 是如何分布的。 在工程上很多的问题中,统计数据往往满足正态分布规律。正态分 布简单,分析方便,参量少,是一种适宜的数学模型。如果采用正态 密度函数是作为类条件概率密度的函数形式, 则函数内的参数如期望 方差是未知的, 那么问题就变成了如何利用大量样品对这些参数进行 估计,只要估计出这些参数,类条件概率密度函数 P(X|wi)也就可 以确定了。单变量正态分布概率密度函数为:

其中:u 为数学期望(均值) ; 多维正态密度函数为:

为方差。

其中:S 为 N 维协方差矩阵;S^-1 为 S 的逆矩阵 ? =(u1,u2,…,un) 为 N 维均值向量;X=(x1,x2,…,xN)为 N 维特征向量 在大多数情况下, 类条件概率密度函数是可以采用多维变量的正太概 率密度函数来模拟,即:

2.3 后验概率 后验概率是指呈现状态 X 时,该样品分属各类别的概率,这个概率 值可以作为识别对象归属的依据。 由于属于不同类的待识别对象存在 着呈现相同的观察值的可能,即所观察到的某一样品的特征向量为 X,而在类中有不止一类可能呈现这一值,它属于各类的概率可用 P (wi|X)表示。可以利用 Bayes 公式来计算这条件概率,称之为状态 的后验概率:

P(wi|X)是表示在 X 出现条件下,样品为 wi 类的概率。 2.4 P(w1|X)和 P(w2|X)与 P(X|w1)和 P(X|w2)的区别 P(w1|X)和 P(w2|X)是在同一条件下,比较 w1 与 w2 出现的

概率,如 P(w1|X)>P(w2|X),则可能的以下结论,在 X 条件下,事 件 w1 出现的可能性比事件 w2 出现的可能性大。 P(w1|X)与 P(w2|X)都是指各自条件下出现 X 的可能性,两者 之间没有联系,比较两者没有意义。P(w1|X)与 P(w2|X)是在不同 条件下讨论问题,不能因为 P(w1|X)>P(w2|X),就认为 X 是第一类 事物的可能性较大。 3 算法的实现 3.1 基于最小错误率 Bayes 分类实现数字样品的识别实现: 在手写的数字识别中属于多类情况,每类样品呈正态分布。 (1)求出每一类手写数字样品的均值
xi ? 1 Ni ? xij ? ( xi1, xi 2,..., xin)T , i ? 0,1, 2,...,9 Ni j ?1

Ni 代表 wi 类的样品个数,n 代表特征数目。 (2)求每一类的协方差矩阵
sjk i ? 1 Ni ? ( xlj ? xj )( xlk ? xk ), j, k ? 1, 2,..., n Ni ? 1 l ?1

L 代表样品在 wi 类中的序号,其中 l=0,1,2,…,Ni。 Xlj 代表 wi 类的第 L 个样品,第 J 个特征值。
xj 代表 wi 类的 Ni 个样品第 j 个特征的平均值。

Xlk 代表 wi 类的第 l 个样品,第 K 个特征值。
xk 代表 wi 类的 Ni 个样品第 K 个特征的平均值。

Wi 类的协方差矩阵为:

(3) 计算出每一类的协方差矩阵的逆矩阵 Si^-1 以及协方差矩阵的行 列式|Si|。 (4)求出每一类的先验概率:
P(wi) ? Ni / N , i ? 0,1, 2,...,9

其中 P(wi)为类别为数字 i 的先验概率,Ni 为数字 i 的样品数,N 为样品总数。 (5)将各个数带入判别函数
1 1 hi ( X ) ? ? ( X ? Xi )T ) Si ?1 ( X ? Xi ) ? ln P( wi ) ? ln | Si | 2 2

(6)判别函数最大值所对应就是手写数字的类别。 3.2 基于最小风险的 Bayes 分类实现 (1)求出每一类手写数字样品的均值。
Xi ? 1 Ni Xij ? ( xi1, xi 2,..., xin)T , i ? 0,1, 2,...,9 ? Ni j ?1

Nj 代表 wi 类的样品个数,n 代表特征数目。 (2)求每一类的协方差矩阵。
sjk i ? 1 Ni ? ( X lj ? xj)( xlk ? xk ), j, k ? 1, 2,..., n Ni ? 1 l ?1

Wi 类的协方差矩阵为

(3)计算出每一类协方差矩阵的逆矩阵 Si 以及协方差矩阵行列式
| Si | .

?1

(4)求出每一类的先验概率
P( wi ) ? Ni , i ? 0,1, 2,...,9 N

其中 P(wi)为类别为数字 i 的先验概率,Ni 为数字 i 的样品数, N 为样品总数。 (5)定义损失数组为 loss[10][10].设初值为
?0, i ? j loss[i][ j ] ? ? ?1, i ? j

(6)计算每一类损失 risk[i]:
risk[i] ? ? loss[i][ j ]P[ j ]
j ?0 9

(7)找出最小损失所对应的类,该类即是待测样品所属的类别。

附录: /最小错误率 Bayes 分离器算法实现
int Classfication::BayesLeastError() { double X[25];//待测样品 double Xmeans[25];//样品的均值 double S[25][25];//协方差矩阵 double S_[25][25];//S的逆矩阵 double Pw;//先验概率、 double hx[10];//判别函数 int i,j,k,n; for(n=0;n<10;n++)//循环类别~9 { int num=patern[n].number;//样品的个数

/************************* * *Functions:求样品的平均值 * ***************************/ for(i=0;i<25;i++) Xmeans[i]=0.0; for(k=0;k<num;k++) { for(i=0;i<25:i++) Xmeans[i]+=patern[n].feature[k][i]>0.1?1.0:0.0; } for(i=0;i<25:i++) Xmeans[i]/=(double)num; /************************* * *Functions:求协方差矩阵 * ***************************/ double mode[200][25]; for(i=0;i<num;i++) for(j=0;j<25;j++)

mode[i][j]=patern[n].feature[i][j]>0.1?1.04:0.0; for(i=0;i<25;i++) for(j=0;j<25;j++) { double s=0.0; for(k=0;k<num;k++) s=s+(mode[k][i]-Xmeans[i]*(mode[k][j]-Xmeans[j]); s=s/(double)(num-1); S[i][j]=s; } /************************* * *Functions:求先验概率 * ***************************/ int total=0; for(i=0;i<10;i++) total+=patern[i].number; Pw=(double)num/(double)total; /********************** * *Functions:求S的逆矩阵 * ***********************/ // for(i=0;i<25;i++) for(j=0;j<25;j++) S_[i][j]=S[i][j]; double(*p)[25]=S_; brinv(*p,25); /********************** * *Functions:求S的行列式 * ***********************/ double (*pp)[25]=S; double DetS; DetS=bsdet(*pp,25);

/********************** * *Functions:求判别函数 * ***********************/ for(i=0;i<25;i++) X[i]=testsample[i]>0.1?1.0:0.0; for(i=0;i<25;i++) X[i]-=Xmeans[i]; double t[25]; for(i=0;i<25;i++) t[i]=0; brmul(X,S_,25,t); double t1=brmul(t,X,25);//矩阵A与矩阵B的乘积矩阵C=AB double t2=log(Pw); double t3=log(DetS+1); hx[n]=-t1/2+t2-t3/2; } /********************** * *Functions:判别函数的最大值 * ***********************/ double maxval=hx[0]; int number=0; for(n=1;n<10;n++) { if(hx[n]>maxval) { maxval=hx[n]; number=n; } } return number; }


赞助商链接
相关文章:
模式识别课程论文
模式识别课程论文 - 模式识别中的贝叶斯决策 学专班 院业级 信息电子技术 电子信息工程 级1班 学籍号姓名 指导教师 信息电子技术学院 2016 年 10 月 25...
模式识别课程论文
模式识别课程论文 - 模式识别课程设计 模式识别中基于概率统计的 Bayes 算 法分析 学号:1102100119 班级:自动化 111 班 姓名:许世坚 首先对模式识别所用到的理论...
模式识别人工智能论文
模式识别人工智能论文_电脑基础知识_IT/计算机_专业资料。浅谈人工智能与模式识别...四、心得体会很荣幸能在本学期学习模式识别这门课程, 这是一门很实用并且有着...
模式识别课论文
模式识别课论文_计算机软件及应用_IT/计算机_专业资料。模式识别在手写数字识别中...2008年全国模式识别学术... 3页 免费喜欢此文档的还喜欢 模式识别课程论文 11...
模式识别论文
模式识别论文 - 模式识别综述与应用 院系:计算机与通信工程学院 班级:电子信息 10-01 班 姓名: 学号: 模式识别综述与应用 摘要 模式识别就是研究用计算机实现...
模式识别期末论文9
模式识别期末论文9 - 深圳大学研究生课程:模式识别理论与方法 课程作业实验报告 实验名称:Classification and Regression Tree 实验编号:Proj08-01 ...
模式识别期末论文_图文
模式识别期末论文_理学_高等教育_教育专区。对模式识别应用领域的认识 摘要自 20...模式识别课程论文 11页 免费 模式识别方面的论文 8页 免费 模式识别学习论文...
模式识别小论文
模式识别小论文 - 模式识别课程论文 论文题目: 梯度下降算法的学习 学专学姓 院: 业: 号: 名: 指导教师: 二〇一二年十二月二十六日 摘要 梯度法,又名...
智能视频分析结课论文
智能视频分析技术课程论文 中国传媒大学 2014~2015 学年第 1 学期 课程 智能视频分析技术 题学班 目号级 人工智能和模式识别的结合运用 刘晶晶 201110013208 数字...
模式识别结课论文
模式识别课论文 题学专姓学 目:模式识别中基于支持向量机算法分析 院: 业: 名: 号: 电气工程与信息工程学院 电气工程 指导教师: 教授 1 支持向量机支持...
更多相关标签: