当前位置:首页 >> 设计/艺术 >>

模式识别课程论文


模式识别基础

课程设计总结报告

题目:模式识别中基于概率统计的 Bayes 算法分析

学院(系) :电气工程学院 年级 专业:12 级检测 2 班 学 号:120103020194 曹嘉元

学生 姓名:

摘要
首先对模式识别所用到的理论、研究背景、研究现状及典型应用进行全面的 阐述;其次,探讨了如何提取数字字符的特征值 ,并对各种分类器的设计方法及其 优缺点进行了比较;最后采用了以模板库为基础的基于二值数据的 Bayes 分类实 现的识别方法,并以 VC++作为编程工具实现了具有友好的图形用户界面的自由 手写体数字识别系统。给出了部分实现算法的代码。实现了对字体数字的识别。

关键词:手写体数字;模式识别;特征提取

一、绪论
下面介绍阐述模式识别中用到的 Bayes 算法理论,研究背景及其典型应用, 在典型应用中,探讨提取数字字符 bayes 算法分类器的设计方法并比较其优缺 点,给出其算法的 C++实现,利用 VC++实现编程工具实现图形界面。 模式识别就是机器识别,计算机识别或者机器自动识别,目的在于让机器自 动识别事物,如手写数字的识别,智能交通管理信号的识别,文字识别,语音识 别等。 模式识别这个学科的目的就是让机器能做人类能做的事情,具备人类所具 有的对各种事物与现象进行分析,描述与判断的部分能力。模式识别是直观的, 无所不在。 人与动物具有模式识别的能力是非常平常的事情,但是对计算机来说 实现模式识别是非常困难的。让机器能够识别,分类需要研究识别的 方法。而 模式识别可以概括为两个类型,一个是直接形象的,例如图片,相片,图案,字 符图案等;另外的就是无知觉形象而只有数据或信号的波形,如语音,声音,心 电图,地震波等。 Bayes 决策所讨论的问题: 基于最小错误率的 Bayes 决策指出机器自动识别出现错分类的条件,错分类 的可能性如何计算,如何实现使错分类实现可能性最小;基于最小错误风险的 Bayes 决策,引入了风险与损失概念,希望做到使风险最小,减小危害大的错分 类情况。错分类造成损失不一样,不同的错误分类造成的损失也是不一样的,不 同的错误分类造成的损失会不相同,后一种错误更加可怕,因此就考虑减小因错 误分类造成的危害损失。

二、Bayes 算法
若已知总共有 M 类物体,以及各类在这 d 维特征空间的统计分布,具体说来 就是已知各类别 wi=1,2,…M 的先验概率 P (wi) 及类条件概率密度函数 P (X|wi) 。 对于待测样品,Bayes 公式可以计算出该样品分属于各类别的概率,叫做后验概 率,看 X 属于哪个类的可能性最大,就把 X 归于可能性最大的那个类,后验概率 作为识别对象归属的依据。Bayes 公式如下:

识别的状态就是一个随机变量, 而某种状态出现概率是可以估计的。 Bayes 公式体现了先验概率,类概率密度函数,后验概率三者之间的关系。 2.1 先验概率 P(wi) 先验概率 P(wi)针对 M 个事件出现的可能性而言,不考虑其他条件。例如 由统计资料表明总药品数为 n,其中正常药品数为 n1,异常药品数为 n2,则 n1 P( w1) ? n n2 P ( w2) ? n 称 P(w1)和 P(w2)为先验概率。显然在一般情况下正常药品所占比例比较大, 即 P(w1)>P(w2),仅按照先验概率来决策,就会把所有药品都划归为正常药品, 并没有达到将正常药品与异常药品区分开的目的。 这表明先验概率所提供的信息 太少。 2.2 类条件概率密度函数 P(X/wi)是指在已知某类别的特征空间中,出现特征值 X 的概率密度,即 第 wi 类样品它的属性 X 是如何分布的。 在工程上很多的问题中,统计数据往往满足正态分布规律。正态分布简单, 分析方便,参量少,是一种适宜的数学模型。如果采用正态密度函数是作为类条 件概率密度的函数形式, 则函数内的参数如期望方差是未知的,那么问题就变成 了如何利用大量样品对这些参数进行估计,只要估计出这些参数,类条件概率密 度函数 P(X|wi)也就可以确定了。单变量正态分布概率密度函数为:

其中:u 为数学期望(均值) ; 多维正态密度函数为:

为方差。

其中:S 为 N 维协方差矩阵;S^-1 为 S 的逆矩阵 ? =(u1,u2,…,un)为 N 维 均值向量;X=(x1,x2,…,xN)为 N 维特征向量 在大多数情况下,类条件概率密度函数是可以采用多维变量的正太概率密度 函数来模拟,即:

2.3 后验概率 后验概率是指呈现状态 X 时,该样品分属各类别的概率,这个概率值可以作 为识别对象归属的依据。 由于属于不同类的待识别对象存在着呈现相同的观察值 的可能,即所观察到的某一样品的特征向量为 X,而在类中有不止一类可能呈现 这一值,它属于各类的概率可用 P(wi|X)表示。可以利用 Bayes 公式来计算这 条件概率,称之为状态的后验概率:

P(wi|X)是表示在 X 出现条件下,样品为 wi 类的概率。 2.4 P(w1|X)和 P(w2|X)与 P(X|w1)和 P(X|w2)的区别 P(w1|X)和 P (w2|X)是在同一条件下,比较 w1 与 w2 出现的概率,如 P(w1|X)>P(w2|X),则可能的以下结论,在 X 条件下,事件 w1 出现的可能性比 事件 w2 出现的可能性大。 P(w1|X)与 P(w2|X)都是指各自条件下出现 X 的可能性,两者之间没有联 系,比较两者没有意义。P(w1|X)与 P(w2|X)是在不同条件下讨论问题,不能 因为 P(w1|X)>P(w2|X),就认为 X 是第一类事物的可能性较大。

三、算法的实现
3.1 基于最小错误率 Bayes 分类实现数字样品的识别实现: 在手写的数字识别中属于多类情况,每类样品呈正态分布。 (1)求出每一类手写数字样品的均值

xi ?

1 Ni xij ? ( xi1, xi 2,..., xin)T , i ? 0,1, 2,...,9 ? Ni j ?1

Ni 代表 wi 类的样品个数,n 代表特征数目。 (2)求每一类的协方差矩阵
sjk i ? 1 Ni ? ( xlj ? xj )( xlk ? xk ), j, k ? 1, 2,..., n Ni ? 1 l ?1

L 代表样品在 wi 类中的序号,其中 l=0,1,2,…,Ni。 Xlj 代表 wi 类的第 L 个样品,第 J 个特征值。

xj 代表 wi 类的 Ni 个样品第 j 个特征的平均值。
Xlk 代表 wi 类的第 l 个样品,第 K 个特征值。

xk 代表 wi 类的 Ni 个样品第 K 个特征的平均值。
Wi 类的协方差矩阵为:

(3) 计算出每一类的协方差矩阵的逆矩阵 Si^-1 以及协方差矩阵的行列式|Si|。 (4)求出每一类的先验概率:
P(wi) ? Ni / N , i ? 0,1, 2,...,9

其中 P(wi)为类别为数字 i 的先验概率,Ni 为数字 i 的样品数,N 为样品总 数。 (5)将各个数带入判别函数 1 1 hi ( X ) ? ? ( X ? Xi )T ) Si ?1 ( X ? Xi ) ? ln P( wi ) ? ln | Si | 2 2 (6)判别函数最大值所对应就是手写数字的类别。 3.2 基于最小风险的 Bayes 分类实现 (1)求出每一类手写数字样品的均值。

Xi ?

1 Ni ? Xij ? ( xi1, xi2,..., xin)T , i ? 0,1, 2,...,9 Ni j ?1

Nj 代表 wi 类的样品个数,n 代表特征数目。 (2)求每一类的协方差矩阵。
sjk i ? 1 Ni ? ( X lj ? xj)( xlk ? xk ), j, k ? 1, 2,..., n Ni ? 1 l ?1

Wi 类的协方差矩阵为

(3)计算出每一类协方差矩阵的逆矩阵 Si 以及协方差矩阵行列式 | Si | . (4)求出每一类的先验概率
Ni , i ? 0,1, 2,...,9 N 其中 P(wi)为类别为数字 i 的先验概率,Ni 为数字 i 的样品数,N 为样品总 数。 (5)定义损失数组为 loss[10][10].设初值为 P( wi ) ?

?1

?0, i ? j loss[i][ j ] ? ? ?1, i ? j
(6)计算每一类损失 risk[i]:
9

risk[i] ? ? loss[i][ j ]P[ j ]
j ?0

(7)找出最小损失所对应的类,该类即是待测样品所属的类别。 附录:部分实现代码: /最小错误率 Bayes 分离器算法实现 int Classfication::BayesLeastError() { double X[25];//待测样品 double Xmeans[25];//样品的均值 double S[25][25];//协方差矩阵 double S_[25][25];//S的逆矩阵 double Pw;//先验概率、 double hx[10];//判别函数

int i,j,k,n; for(n=0;n<10;n++)//循环类别~9 { int num=patern[n].number;//样品的个数

/************************* * *Functions:求样品的平均值 * ***************************/ for(i=0;i<25;i++) Xmeans[i]=0.0; for(k=0;k<num;k++) { for(i=0;i<25:i++) Xmeans[i]+=patern[n].feature[k][i]>0.1?1.0:0.0; } for(i=0;i<25:i++) Xmeans[i]/=(double)num; /************************* * *Functions:求协方差矩阵 * ***************************/ double mode[200][25]; for(i=0;i<num;i++) for(j=0;j<25;j++) mode[i][j]=patern[n].feature[i][j]>0.1?1.04:0.0; for(i=0;i<25;i++) for(j=0;j<25;j++) { double s=0.0; for(k=0;k<num;k++) s=s+(mode[k][i]-Xmeans[i]*(mode[k][j]-Xmeans[j]); s=s/(double)(num-1); S[i][j]=s; } /************************* *

*Functions:求先验概率 * ***************************/ int total=0; for(i=0;i<10;i++) total+=patern[i].number; Pw=(double)num/(double)total; /********************** * *Functions:求S的逆矩阵 * ***********************/ // for(i=0;i<25;i++) for(j=0;j<25;j++) S_[i][j]=S[i][j]; double(*p)[25]=S_; brinv(*p,25); /********************** * *Functions:求S的行列式 * ***********************/ double (*pp)[25]=S; double DetS; DetS=bsdet(*pp,25); /********************** * *Functions:求判别函数 * ***********************/ for(i=0;i<25;i++) X[i]=testsample[i]>0.1?1.0:0.0; for(i=0;i<25;i++) X[i]-=Xmeans[i]; double t[25]; for(i=0;i<25;i++) t[i]=0; brmul(X,S_,25,t);

double t1=brmul(t,X,25);//矩阵A与矩阵B的乘积矩阵C=AB double t2=log(Pw); double t3=log(DetS+1); hx[n]=-t1/2+t2-t3/2; } /********************** * *Functions:判别函数的最大值 * ***********************/ double maxval=hx[0]; int number=0; for(n=1;n<10;n++) { if(hx[n]>maxval) { maxval=hx[n]; number=n; } } return number; }


赞助商链接
相关文章:
模式识别课程论文
模式识别课程论文_工学_高等教育_教育专区。模式识别课程设计 模式识别中基于概率统计的 Bayes 算 法分析 学号:1102100119 班级:自动化 111 班 姓名:许世坚 首先...
模式识别结课论文
模式识别课论文_教育学_高等教育_教育专区。智能视频分析技术课程论文 中国传媒大学 2014~2015 学年第 1 学期 课程 智能视频分析技术 题学班 目号级 人工智能...
模式识别课程论文
模式识别课程论文 - 模式识别中的贝叶斯决策 学专班 院业级 信息电子技术 电子信息工程 级1班 学籍号姓名 指导教师 信息电子技术学院 2016 年 10 月 25...
模式识别论文
模式识别期末论文 7页 1下载券 模式识别课程论文 11页 免费 模式识别方面的论文...基于MATLAB 的 REF 神经网络的模式识别一. 神经网络介绍神经网络具有并行处理能力...
模式识别课程论文
模式识别课程论文_设计/艺术_人文社科_专业资料 暂无评价|0人阅读|0次下载|举报文档 模式识别课程论文_设计/艺术_人文社科_专业资料。模式识别基础 课程设计总结...
模式识别人工智能论文
模式识别人工智能论文_电脑基础知识_IT/计算机_专业资料。浅谈人工智能与模式识别...四、心得体会很荣幸能在本学期学习模式识别这门课程, 这是一门很实用并且有着...
模式识别-课程论文模板
模式识别-课程论文模板_实习总结_总结/汇报_实用文档。模式识别课程论文模板,大家可以参考 基于神经网络的模拟电路故障诊断方法研究 XXX (xxx学院 信息与通信工程学院...
模式识别课程论文——人脸识别_gai
基于Opencv 和 Matlab 的人脸检测和识别——模式识别课程设计组长:宋海波组员:王思齐、颜陆红、贾琛、曾常和、秦亚超 人脸识别......
模式识别论文
模式识别课程论文 11页 免费 模式识别综述与展望 11页 1下载券 模式识别方法大作业实验... 15页 免费 K-L变换在人脸识别中的应... 6页 免费 《模式识别》...
模式识别结课论文
模式识别课论文 题学专姓学 目:模式识别中基于支持向量机算法分析 院: 业: 名: 号: 电气工程与信息工程学院 电气工程 指导教师: 教授 1 支持向量机支持...
更多相关标签: