当前位置:首页 >> 工学 >>

基于主成分分析和神经树的人脸识别方法研究


济南大学 硕士学位论文 基于主成分分析和神经树的人脸识别方法研究 姓名:刘振 申请学位级别:硕士 专业:模式识别与智能系统 指导教师:陈月辉 20071108

济南大学硕士学位论文





人脸识别技术就是通过计算机提取人脸的特征,并根据这些特征进行身份验证的 一种技术。它融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神 经网络和生物特征技术等多个学科的理论和方法,需要研究人员具有完善的知识体系 和丰富的经验。

人脸识别技术主要通过三个步骤完成,即人脸检测定位、面部特征提取和人脸对 比确认识别。其中最重要的两个过程就是特征提取和识别。特征提取就是将图像的高
维向量进行降维处理,降维过程中保留其主要的特征,也就是说希望用图像的少量特

征来近似表示整个图像。主成分分析方法在各个变量之间相关关系研究的基础上,用 较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较 多的变量所反映的信息一种方法。它广泛应用在许多科学和工程领域中。
识别方法的选择对于最终的识别效果影响很大。目前的分类识别方法也比较多,

如人工神经网络(』6州)方法、灵活神经树(FNT)方法、支持向量机(SVM)方
法、模糊系统(FS)方法,Bayesian方法等,它们有着各自的优点和缺点。在神经网 络的研究课题中,最重要的一个问题是怎样选择合适的神经网络结构以及相关参数。 神经网络的权值和阈值等参数可以用许多方法学习得到,如误差反向传播算法,遗传 算法,进化编程和随机搜索算法等。本文研究的神经树就是一种网络结构和相关参数
自动优化的神经网络系统,这是由于它是采用树结构编码的,一些基于树结构编码的

优化算法,如遗传编程、蚂蚁编程和概率递增编程等,可被用来优化神经树的结构, 而再结合一些参数优化算法就可以实现结构和参数的自动优化。 本文系统地介绍了主成分分析及相关改进算法、神经网络和神经树的基本理论、 构成和实现方法,总结了主成分分析方法和神经网络结构的发展。在前人研究的基础 上,提出了基于主成分分析与神经树结合识别人脸的实现方法。具体内容如下: (1)对主成分分析的基本理论进行了详细地论述。首先概述了主成分分析的特
点和发展历史,着重介绍了主成分分析的基本思想和人脸识别中的应用情况,然后介 绍了目前的一些改进算法,如线性判别式分析方法、核主成分分析方法、二维主成分

基于主成分分掇农毒孛经事孽懿入黢识别方法研究

分析方法、分块主成分分析方法等,最后概括了这些方法的基本理论和应用方法。

(2)对神经霹络和神经树的基本理论进行7详细的综述。概述了神经网络的特 点、产生和发展历史,介绍了神经网络的基本思想、研究领域和应用发展情况,然后 从理论和应用研究上综述神经网络的研究现状,总结了神经网络设计中的难点问题。

研究了神经树的特点和实现方法。介绍了采用遗传编程的参数优化算法一粒子群优
化算法,阐述了建立神经树模型的方法。 (3)将主成分分孝厅秘神经树模型应用予人脸识别领域。在国际通用的人脸图像 库ORL和Yale数据库上实验的结果都表明基于生成分分析和神经树的人脸识别比其
他方法的实验结果更具有效性和可靠性。

关键字:人脸识别;主成分分析;灵活神经树;特征提取;粒子群优化算法



济南大学硕士学位论文

Ab stract

The technology of face recognition is



technology

that discriminate identify by using

the computer to collect the feature of human face,it combines theories and ways of several

subjects
artificial

such as:paRem recognition,image processing,computer neural

figure,computer
of this

vision, need

networks,biography

character,etc.Researchers

area

wide-ranging knowledge system and rich experiences. The progress of face recognition mainly consists of three steps:image preprocessing, feature extraction and recognition,feature extraction and recognition

are

the most into low

important of it.Feature extraction is the way to degrade

high dimensions

dimensions and maintain the main
describe the whole used in


characters in the

mean time,that

is to say we hope

image

by fewer characters.Principle components
use

analysis

is widely

lot of areas of science and engineering,is

fewer new variables which contain
on

more information of old variables instead of old variables every variables together. How to choose the recognition

the base of relationship of

way has

the deep effect

on

the recognition effects.Now neural

there are many ways of classification:Artificial neural

networks(ANN),Flexible

tree(FNT),Support

vectors

machine(SVM),Fuzzy system(FS),Bayesian,ere.Every of
on

them have the both advantages and disadvantages artificial neural

themselves.Among the research of
to select

networks,the

most important problems are how
all

the appropriate
of

architecture and relative parameters for
artificial neural networks
call

artificial neural

network.Weights and biases

be learned by

many

methods,i.e.back-propagation algorithm,

genetic

algorithm,evolutionary programming,random search neural
tree

algorithm
is

and

SO

on.

Flexible

is
Call



kind

of artificial

neural

network,which

encoded by

tree.architecture,and

optimize the architectures and parameters automatically.For the

tree.architecture based coding,some tree—architecture based optimization algorithms,such
as

genetic

programming,ant programming
to evolve the architectures of

and probabilistic incremental
trees.

program,and

etc?,

can

be used

flexible neural
III

基于主成分分析和神经树的人脸识别方法研究

This paper gives



systematically introduce of the principle components analysis and

it's improved algorithms,neural network and the flexible neural tree from the aspects of basic theory,composition and implementation.Some realization methods,which applied principle components analysis and the flexible neural tree to face recognition,were

research.The main content is as follow, proposed in the paper based the former

(1)The

paper introduced principle components

analysis and

its basic theories.First we

summarized the character,generation and development of principle components analysis,
and emphasized the basic idea and application in face

recognition.Then

we introduced. principle

some improved algorithms of PCA,such
components

as

linear discriminate

analysis,kernel

analysis,two-dimension

PCA,etc.At last we summarized the theoretical

and

applied research of these methods.

(2)This

paper surveyed artificial neural network

and

flexible neural tree and their

basic theories.Firstly we summarized the character,generation and development of neural
network in details,and introduced the basic idea,research field

and

applications.Then we

summarized the theoretical and applied research,and sum up the question in neural

designing

of

network.Thirdly

we discussed the character and realized method of flexible
tree

neural

tree.Finally,the flexible neural

model,which were combined with

parameter

optimization algorithms,such as genetic algorithm,were established.

algorithm

and particle

swarln

optimization

(3)A

new approach for face recognition based

on

Principal Component Analysis and

Flexible Neural Tree model

is

proposed.And

this method Was tested by using the

intemational standard face databasr—-oI也and Yale,the result show that the method is
more effective

and

reliable than the others.

Keywords:Face Recognition;Principle

Components Analysis;Flexible Neural Tree;

Feature Extraction;Particle Swarm Optimization Algorithm

IV

原创性声明
本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立 进行研究所取得的成果。除文中已经注明引用的内容外,本论文不包含 任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出 重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到 本声明的法律责任由本人承担。

论文作者签名:

蒸l茎匿



期:

关于学位论文使用授权的声明
本人完全了解济南大学有关保留、使用学位论文的规定,同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版,允许论 文被查阅和借鉴;本人授权济南大学可以将学位论文的全部或部分内 容编入有关数据库进行检索,可以采用影印、缩印或其他复制手段保 存论文和汇编本学位论文。

(保密论文在解密后应遵守此规定)

论文作者签名:超导师签名:继日期:型Z:!兰:p

济南大学硕士学位论文

第一章绪论 1.1引言
人脸识别是模式识别【L 21研究领域中的重要课题,也是目前一个非常活跃的一个
研究方向,它的主要任务不仅仅包括照片和图像序列中识别某个面孔,而且有时还会

涉及到对面孔图像的分析或者合成。目前,国外对人脸识别问题的研究很多,比较著
名的有麻省理工学院,卡内基梅隆大学等;国内的清华大学、北京工业大学、中科院

计算所和自动化所等都有人员从事人脸识别相关的研究。 人脸识别技术【3-7】就是通过计算机提取人脸的特征,并根据这些特征进行身份验 证的一种技术。人脸与人体的其他生物特征(指纹、虹膜等)一样与生俱来,它们所具 有的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提,同其他生物特征 识别技术相比,人脸识别技术具有操作简单、结果直观、隐蔽性好的优越性。因此, 人脸识别在信息安全、刑事侦破、出入口控制等领域具有广泛的应用前景。

1.2研究背景
人脸识别技术从最初对背景单一的正面灰度图像的识别,经过对多姿态(正面、 侧面等)人脸的识别研究,发展到能够动态实现人脸识别,目前正在向三维人脸识别
的方向发展。在此过程中,人脸识别技术涉及的图像逐渐复杂,识别效果不断地得到

提高。虽然人脸识别研究已积累了宝贵的丰富经验,但目前的识别技术仍然不能对诸 如复杂背景中的人脸等进行有效的处理和自动跟踪。同时,与其他学科不同的是:人 脸识别技术融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神经
网络(Artificial
Neural

Networks,ANN)[sq21和生物特征技术等多个学科的理论和方法,

需要研究人员具有完善的知识体系和丰富的经验。另外,人脸自身及所处环境的复杂 性,如表情、姿态、图像的环境光照强度等条件的变化以及人脸上的遮挡物(眼镜、 胡须)等,都会使人脸识别方法的鲁棒性受到很大的影响。因此,人脸识别技术仍然
是21世纪富有挑战性的课题。 人脸识别技术主要通过三个步骤完成,即人脸检测定位、面部特征提取和人脸对


基于主成分分析和神经树的人脸识别方法研究

比确认识别(如图l所示)。

区匦匝卜{亘堕亟卜屯堕亘丑一识别结果
图1人脸识别技术流程图

1.2.1人脸检测方法


人脸检测是指在输入图像中确定所有人脸(如果存在)的位置、大小和位姿的过
程。人脸检测作为人脸信息处理中的一项关键技术,近年来已成为模式识别与计算机 视觉领域内一项受到普遍重视,研究十分活跃的课题。


人脸识别或辨认、人脸定位以及人脸追踪等都与人脸检测密切相关。人脸定位的

目的是确定图像中人脸的位置。假设一幅图像中只存在一张脸,则面部特征检测的目 的是检测特征的存在和位置,如眼睛、鼻子(鼻孔)(眉毛)(嘴)(嘴唇)耳朵等。 人脸识别或辨认是将输入图像与数据库中的图像比对,如果存在,报告匹配结果。 人脸识别的目的是检验输入图像中的个体的身份。人脸追踪方法是实时地、连续地估 计在图像序列中的人脸的位置和可能的方向。面部表情识别涉及识别人类的情感状态 (高兴、悲伤、厌恶等)。很明显,在任何解决上述问题的自动识别系统中,人脸检测
是第一步。 从一幅图像中检测人脸的方法可以分为以下四种‘73】: (1)基于知识的方法(Knowledge.based Methods)。它将典型的人脸形成规则库对

人脸进行编码。通常,通过面部特征之间的关系进行人脸定位。 (2)特征不变方'法(Feature InvariantApproaches)。该算法的目的是在姿态、视角或 光照条件改变的情况下找到存在的结构特征,然后使用这些特征确定人脸。
(3)模板匹配方法(Template Matching Methods)。存储几种标准的人脸模式,用来

分别描述整个人脸和面部特征;计算输入图像和存储的模式间的相互关系并用于检
测。 (4)基于外观的方法(Appearance-based Methods)。与模板匹配方法相反,从训练 图像集中进行学习从而获得模型(或模板),并将这些模型用于检测。

人脸的检测定位是整个识别过程的前提条件,在人脸检测系统中起着尤为重要的

济南大学硕士学位论文

作用,并且对最终的识别结果影响很大。但由于本文主要研究特征提取方法和分类方

法对识别率的影响,且实验对象是标准的人脸图像数据库,不涉及人脸图像的检测技
术,因此不再对人脸检测技术的相关知识进行阐述。

1.2.2特征提取方法
特征提取和对比识别是影响识别正确率的两个重要步骤,其中由于人脸图像包含 非常大的数据信息,人脸特征的提取显得尤为重要。目前主要存在两大类方法: (1)基于几何特征的特征提取方法。此类方法利用人脸的几何特征进行识别,
提取的信息是人脸主要器官特征信息及其之间的几何关系。

人脸由眼睛、鼻子、嘴巴、下巴等部件构成,正因为这些部件的形状、大小和结
构上的各种差异才使得世界上每个人脸千差万别,因此对这些部件的形状和结构关系 的几何描述,可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描 述与识别,首先根据侧面轮廓曲线确定若干显著点,并由这些显著点导出一组用于识 别的特征度量如距离、角度等。

采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位 置和眼睛等重要器官的几何形状作为分类特征,但1996年Roeder对几何特征提取的 精确性进行了实验性的研究,结果不容乐观【74】。


可变形模板法可以视为几何特征方法的一种改进,其基本思想是:设计一个参数
可调的器官模型(即可变形模板),定义一个能量函数,通过调整模型参数使能量函数


最小化,此时的模型参数即做为该器官的几何特征。这种方法思想很好,但是存在两 个问题,一是能量函数中各种代价的加权系数只能由经验确定,难以推广,二是能量 函数优化过程十分耗时,难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述,但它需要大量的 前处理和精细的参数选择。同时,采用一般几何特征只描述了部件的基本形状与结构 关系,忽略了局部细微特征,造成部分信息的丢失,更适合于做粗分类,而且目前已 有的特征点检测技术在精确率上还远不能满足要求,计算量也较大。 (2)基于代数特征的特征提取方法。此类方法将人脸图像的数学特征作为识别 的对象,对于计算机来讲此类方法迅速有效,因此近年来得到很快发展。方法也很多,

基于主成分分析和神经树的人脸识别方法研究

如离散余弦变换(DCT)[13,14,61】、主成分分析(PCA)[15-17】、独立成分分析(ICA) 【18】、线性判别式分析(LDA)【19,621、fisher最佳判别【20】、奇异值分解(SVD)[21】等。 这两类特征提取的方法也都在不断的发展过程中,研究者们提出了一些改进的方 法和结合的方法,也取得了较好的效果。由于通过计算机来处理图像使其对图像做到

自动识别,因此本文研究了基于代数特征的特征提取方法中应用最为广泛的方法一
主成分分析方法以及其改进方法,并且进行了实验与其他方法做了一些比较。

1.2.3模式分类方法
想要得到识别率高的结果,单一的来看特征提取的方法是不行的。经过某种方法
提取出的特征的性能要经过分类的检验才可证明,因此,模式分类方法的选择也十分 重要。 目前分类方法也有很多,如人工神经网络方法、支持向量机(Support
Vector

?

Maclline,SVM)方法【22,641、模糊系统(Fuzzy System)㈣方法,Bayesian方澍651等等,

但对于某种特征提取方法分类方法的性能也各有不同。自80年代后,人工神经网络 得到了飞速发展,相关的应用也扩展到了语音识别、图像识别与理解、计算机视觉、 智能机器人、故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、 自适应控制、专家系统等很多领域。但由于神经网络的设计是一个高度复杂的问题, 进行神经网络系统设计具有很大的局限性。神经树的理论被提出【23之51,它是一个类似


于人工神经网的智能计算系统,用来解决人工神经网络的自动设计问题,在时间序列 预测、系统辨识等方面表现优秀。本文在神经网络和神经树作为模式分类的方法上进 行了一些研究和实验。

1.2.3小结
影响人脸识别的准确率的两大因素是特征提取的质量和分类器的性能,因此,要 对众多特征提取的方法进行分析、选择和实验,同时配合上理论上较好的分类方法进 行测试,以达到确立较好的人脸识别方法。本文研究了主成分分析及相关改进方法作 特征提取,用神经网络和灵活神经树作分类器的人脸识别方法的实现过程,并在国际

通用的人脸数据库上进行了实验仿真。在优化神经网络和神经树的参数时,采用了性


济南大学硕士学位论文

能良好的粒子群优化算法,并且研究了神经树的结构优化算法。

1.3论文内容安排
第一章绪论,主要简介人脸识别的相关概念,特征提取的方法和模式分类器的选 择问题,引出了本论文的研究背景。

第二章主成分分析及改进算法,阐述主成分分析的基本原理和实现方法,并介绍
一些针对其缺点所做的改进算法的原理和实现过程。

第三章神经网络与神经树模型,主要介绍神经网络的基本理论、发展历史及现状; 神经树模型的基本理论、结构,以及采用粒子群优化算法(Particle
Swarm Optimization

Algorithm,PSO)【26】对神经网络和神经树进行参数优化的方法,探讨了神经树的结构 优化算法。 第四章仿真实验与结果分析,即采用基于主成分分析与Fisher的特征提取方法, 神经网络以及神经树模型的模式分类器进行人脸识别,主要介绍了在ORL和Yale人 脸数据库上的一些仿真实验,并且对实验结果进行了比较分析,最后做出了相应的结 论。 第五章总结和展望,对基于主成分分析和神经树的人脸识别方法做出了总结,同

时指出存在的问题,并对未来的研究和发展做出了展望。

基于主成分分析和神经树的人脸识别方法研究

第二章主成分分析方法 2.1概述
常见的基于代数特征的特征提取方法有主成分分析方法,独立成分分析方法,线 性判别式分析方法,离散余弦变换方法,奇异值分解方法和小波变换方法【27】等。 近年来,基于主成分分析的特征脸法在人脸识别中得到广泛的应用,成为研究的 热点。主成分分析法是一种多元统计数据分析方法,它是用数量不多的若干个线性无

关的综合变量来描述多维空间的绝大部分动态信息,是基于目标统计特性的最佳正交 变换。经过变换后产生的新的分量正交或者不相关,同时以部分新的分量表示原矢量
的均方误差最小。一般的,同一个人的准正面人脸图像,发生轻微地姿态和表情变化,

经过主成分分析之后的差异,应当小于不同的人脸图像。利用主成分分析突出差异性
和抑制相关性的特点,本文尝试了利用主成分分析方法及相关改进算法提取人脸图像 的特征集。‘

2.2主成分分析
2.2.1基本理论
主成分分析方法也称为主元法,主分量分析法,是一种常用的方法,它以K.L

变换(Karhunen.Loeve变换)为基础。Sirovich和Kirby首先将K.L变换用于人脸图
像的最优表示【28】,20世纪90年代初期Turk和Pentland[15】根据主成分分析原理提出 了特征脸(Eigenface)的概念。它是一种简单有效的方法。它根据图像的统计特性进

行正交变换,以消除原有向量各个分量间的相关性。变换得到对应特征值依次递减的 特征向量。通过K.L变换,可以把图像在高维空间表示转换到低维空间表示,而由
低维空间恢复的图像和原图像具有最小的均方误差。从而可以以图像在低维空间的变

换系数作为人脸图像的描述特征。K-L变换用于人脸识别的前提是人脸图像处于低维 空间,并且不同人脸是线性可分的。 K.L变换是主成分分析的基础,为了理解主成分分析的原理,我们先简单介绍一
下K.L变换【291。



济南大学硕士学位论文

假设X为11维的随机变量,X可以用n个基向量的加权和来表示: x


疗∑州



矗p

式中,口。为加权系数,办为基向量。此式还有镡阵的表示形式: X=(办,改,…,丸)(口l,口2,…,口刀)7’=①口……………………(2)
其中,

①=(矽l,矽2,…,矽疗),
我们 取 基. 向 量为 正 交 向 量

口=(口l,口2,…,口刀)r……………………(3)



1 ① ①

nU
厂● ●(,● k







f≠/……………………(4)

①由正交向量构成,所以①是正交矩阵,即:

①。①=I…………………………….(5)
将公式(2)两边左乘①7’,并考虑到①是正交矩阵,得: 口=①。X………………………………………(6)
即:


%=中;X…………………………….(7)
我们希望向量口的各个向量间互不相关。那么如何保证口的各个分量互不相关呢? 这取决于选取什么样的正交向量集①,了。 设随机向量的总体自相关矩阵为:

R=E[X。X】……………………………………(8)
将(2)式代入(8)式,得:

R=E[XrX】=E[①货a丁①7’】=①E[aa 7’]①r………………(9)
我们要求向量口的各个分量间互不相关,即满足下列关系:

脚小怡嚣…………………㈤,
写成矩阵的形式是:


基于主成分分析和神经树的人脸识别方法研究





=人





R=0AOr………………………………(12)
将上式两边右乘①,得


尺①=①人西。西……………………………..(13)
由于①是正交矩阵,所以得

尺①=中人……………………………………..(14)


R①.『=乃①.,(J=1,2,…刀)………………….(15)
可以看出,乃是X自相关矩阵R的特征值,①/是对应乃的特征向量。因R为
实对称矩阵,它的不同特征值对应的特征向量应正交。 综上所述,K.L展开式的系数可以用下列步骤求出:
第一步:求随机向量X的自相关矩阵R=E[X 7’X】,由于没有类别信息的样本集

的均值向量,常常没有意义,所以也可以把数据的协方差矩阵∑=EE(x-.Xx一∥)r】
作为K—L坐标系的产生矩阵,这里∥是总体均值向量。 第二步:求出自相关矩阵或协方差矩阵R的特征值名,和特征向量①,,其中

/=1,2,…拧,同时特征向量组成的矩阵为①=@1,①:,…,①。)。


第三步:展开式系数即为口=①rX。
由于K.L变换前后的向量信号的个数是相同的,但变换后的各分量与变换前的

分量值是不一样的,变换后出现了若干个很小值。这就使得我们能够在保留主要分类 信息的基础上降低特征的维数。若要用于数据压缩,就要删除一些能量较小的分量,
而且在最小均方误差的意义上,这种变换是最优的。 主特征有以下性质:


济南大学硕士学位论文

1)由映射的线性性及变换矩阵的正交归一化性不难证明,属于测量空间的任一

模式都有唯一的特征向量与之对应,这一特性说明模式的变换没有丢失分类的主要信
息。 2)主特征具有稳定性。即当输入矢量有微小变化时,其对应的主特征变化将小 于输入模式的变化。这一特性说明对图像噪声等因素引起的图像灰度变化有不敏感
● ●

性,所以可以放宽对输入图像的要求。 3)经过映射随着空间维数的降低,模式之间的距离也得到减小,从而避免了在 多维空间上进行分类的复杂性。 4)经过映射,分类空间从欧氏空间转移到了马氏空间,这种消除了模式间相关 性的分类空间极大地降低了错分率。

5)主特征具有重建图像的能力。由于主特征的获得是以重建误差最小为条件的, 所以主特征具有重建能力是肯定的。其重建图像的质量与所用的主分量的多少有
关。
2,2.2

PCA在人脸图像中的应用



主成分分析方法在人脸识别领域中应用的相当广泛【30.321,下面来介绍一下。设一
幅P×Q大小的人脸图像共有P×Q个象素点,设每个象素点灰度值存放在二维数组中, 则可以按照列依次相连构成一个P×Q维的向量,它可以被看作是PxQ维空间中的一 个点。。


由于人脸结构的相似性,当把这样的人脸图像归一化之后,这些图像在这个高维 空间中不是随机和散乱地分布而是存在某种规律。因此,可以通过K.L变换用一个 低维子空间描述人脸图像,同时又能保存所需要的识别信息。用K.L变换获取其正 交K.L基底,对应其中较大特征值的基底具有与人脸相似的形状,因此又称之为特
征脸(Eigenfaces)。 具体算法如下: 假定参加训练的人脸图像一共有N张,每张图像的维数为P×Q,则可以分别表 示为:Ll、L2、L3、……、LN,‘那么平均脸可以表示为:



基于主成分分析和神经树的人脸识别方法研究

厂=专缸…………………………,
每张人脸和平均脸之间的距离可以表示为:

df=Lf—f………………………………………(17) 设矩阵A=p。,d2,d3,…d.Ⅳ),特征脸需要做的就是找出矩阵AAT的前z个较大特 征值的特征向量,但由于州T是一个(pxQ)×(P×Q)维的高维矩阵,求这样一个
矩阵的特征值计算量是非常大的。为此我们可以先求出彳T彳的特征值和特征向量,

然后求出州T的特征向量“,:.




U,=么甜,名,1

(/=1,2,3,…,Z)…………………(18)

其中甜,表示彳T彳的特征向量,五,是ATA的特征值,甜,就是所指的特征脸。求出 特征脸后,剩下的工作就是要对人脸库中的图像进行降维,即提取特征,由甜,可以

组成一个投影矩阵,表示为W=函。,“:,甜3,…,“z},并进行降维:
gj.--W1d,

(江1,2∥3一,Ⅳ)…………………..(19)

由上式即可得出所有人脸向量的降维向量。

式(18)中的Z值就是提取特征的个数,也就是将人脸图像特征降至的维数,可 以称之为选择的主分量个数。它一方面表达着人脸图像信息,一方面影响着下一步识 别的质量。主分量偏多导致下一步进行识别时神经网络或神经树的输入增加,计算复 杂且缓慢;主分量偏少将丢失人脸信息,影响识别率。所以确定选择得主分量个数是
主成分分析方法进行特征提取的重要问题。

下面介绍一下常见几种确定主分量个数的方法: 1)标准的特征空间投影


所有k个对应于非零特征值的特征向量均被用于创建特征脸子空间。该方法在k 值比较大的时候,计算速度比较慢,而且不利于分类,没有达到降维的效果。
2)保持前面的C.1个特征向量

将特征值按照降序排列,同时只保留最前面的C.1个特征向量。其中C为训练
图像的类别数。 3)通过计算阈值来确定维数

10

济南大学硕士学位论文

该方法采用保证所保留的特征向量所对应的特征值之和与总的特征值之和的比 值大于一定的阈值e。可以依照下列公式计算:


白.

,∑闩

丑/

¨∑纠



¨



其中;M为保留的特征向量的个数。e取值一般为0.9。

得到人脸图像的降维向量后,就可以将数据作为分类器的输入进行训练和测试
了。

2.3主成分分析的改进算法
从数学角度看,以K L变换为基础的PCA人脸识别方法是统计最优的,它使得 压缩前后的均方误差最小,且变换后的低维空间有很好的分辨能力。但是PCA方法 也存在着缺陷。首先,它基于图像的灰度统计值,外在因素带来的图像差异和人脸本

身带来的差异是无法区分的。因此由于光照,角度,尺寸,姿态,表情等外界因素的 变化会降低识别率。从这个角度而言,进行合适的图像预处理工作是很必要的;其次, 将图像矩阵转化为图像向量后,造成图像向量的维数一般较高,使得整个特征抽取过 程所耗费的计算量相当可观;最后,主成分分析的训练是非监督的,即PCA无法利 用训练样本的类别信息。这就促使研究人员在该方法基础上发展了许多改进方案,如


线性判别式分析(LDA方法,也称Fisher脸方法)[33-34】,分块PCA理论嘲、2维PCA
理论‘36-37,29]、基于核函数的PCA[38-41]等算法,丰富了主成分分析的理论。下面简单介 绍一下这几种方法,本文还针对线性判别分析方法作了实验。

2.3.1线性判别式分析方法
K.L变换是数字图像压缩领域里的一种最优变换,它是是从低维空间恢复的人脸 图像和原图像的均方误差最小。但K.L变换只是从压缩角度来看是最优的,从分类
角度来看却不是最优的。虽然它考虑了人脸图像的所有差异(从降维角度),但没有 考虑这些差异是类内差异还是类间差异(从分类角度),因此在理论上讲该方法用于

人脸识别存在缺陷。因此,以K.L变换为基础的主成分分析方法的不足之处是受表
情变化、光照角度强度变化和视角变化等影响,鲁棒性较差。
Daniel L.Swets和John Weng提出在主成分分析的基础上使用线性判别式分析,也
ll

基于主成分分析和神经树的人脸识别方法研究

称FisherJJ佥方法【421。 该方法选择以类内散布正交的矢量作为特征脸空间,从而能压制图像之间的与识 别信息无关的差异,对光照及人脸表情变化都不太敏感。LDA的目的就是从高维特征 空间里提取出最具有判别能力的低维特征,这些特征能帮助将同一个类别的所有样本

聚集在一起,不同类别的样本尽量分开,即选择使得样本类间离散度和类内离散度的
比值最大的特征。 具体算法如下【29】:

假设原始图象库中共有N个图象,假设每个图象共有d个象素点,则原始人脸 图象向量可以表示为xl,X29.o.9XN(向量维数设为d),其中N1个人脸图象属于1类,

N2个人脸图象属于2类,…,N。个人脸图象属于C类(其中Nl+N2+…+N。:=№。则各
类人脸图象的均值为:

“,=二∑X…,2,1=O N’1xE-Classi、 2(…………………)c




7………………………一



总的人脸图像的均值为:

铭=寺∑xh……………………….(22) Ⅳ鲁h………………………““~.
样本类间离散度矩阵SB和类内离散度矩阵Sw定义为:


S口=∑N,(∥,一∥)(∥,一∥)r……………………………………(23)
-S 缈


c∑闽









XX









如果Sw是非奇异的,则要获得类间离散度与类内离散度的比值最大的投影方向
的Wopt满足F式:’

%=鹕max丽IWZS习BW[=【w。,w2,…础…………………㈨,
其中{w I/=1,2,…,所)是满足式(26)的SB和Sw对应的111个最大特征值 {2。1i=1,2,…,聊}所对应的特征向量。
SB形=;tiS∥形 (i=1,2'...?,m)………………………..(26)

济南大学硕士学位论文

然后根据对应特征值由大到小的顺序排列特征向量,仅保留前C.1个特征向量,
这就是Fisher基向量。值得注意的是LDA投影空间的维数选取存在依然存在和PCA 方法同样的问题,必须通过实践检验才能确定正交基保留的百分比。 最后把旋转过的原始图象投影到Fisher基向量,然后进行分类工作。
?

线性判别式分析方法应用的比较广泛,针对该方法还有一些改进算法,比如Yu 和Yang在2000年提出的Direct LDA(DLDA)方法【431,其关键思想是要去掉SB的 零空间,保留Sw的零空间,即取SB的非零空间和Sw的零空间的交集。因为SB的零 空间中不包含对分类有用的信息,而Sw的零空间包含了最重要的分类信息。覃志祥 等人提出了改进的LDA算法144],重新定义了样本的类间散布矩阵,在原始的定义基

础上增加了一种径向基函数(I也F)调节类间距离,使得在选择投影方向时能更好地
分开各类样本:同时该方法在类间散布矩阵与类内散布矩阵的特征分解的基础上,通 过变换求出符合Fisher准则的最优投影方向,可以证明这样得到的投影方向同时具

有正交性与统计不相关性。Belhumeur等在文献【45】中采用了PCA+LDA的方法,首 先利用主成分分析将高维空间的样本数据压缩到低维特征空间而舍弃了类内散布矩 阵的零空间,从而可以方便地处理这个矩阵。

2-3.2二维主成分分析
传统的PCA和LDA方法在图象识别时都是基于图象向量的,在这种人脸识别技 术中,二维的人脸图象矩阵必须先转变为一维的图象向量,然后再进行PCA或LDA 分析。缺点很明显:首先,将图象矩阵转化为图象向量后,造成图象向量的维数一般
较高,使得整个特征抽取过程所耗费的计算量相当可观:其次,主成分分析的训练是 非监督的,即PCA无法利用训练样本的类别信息;再次,实验表明,基于PCA的人

脸识别方法随着光照、姿态等因素的引入,识别率急剧下降,因此这种方法还存在着
缺陷。

下面介绍了一种直接基于图象矩阵的包含在类平均图象中的判别信息的最优压 缩技术:二维主成分分析(2DPCA)人脸识别方法【46‘481,也叫做广义主成分分析,最显
著优点在于大大加快了特征抽取的速度。

二维主成分分析算法如下:

基于主成分分析和神经树的人脸识别方法研究

设X表示n维列向量,将mxil的图像矩阵A通过以下线性变换直接投影到X上:

y=允Y……………………………………(27)
得到一个111维列向量Y,X为投影轴,Y称为图像A的投影特征向量。最佳投

影轴X可以根据特征向量Y的散布情况来决定,采用的准则如下:

J(x)=驴(SJ)………………………(28)
其中Sx表示训练样本投影特征向量Y的协方差矩阵,护(最)代表足的迹【601,当
准则式(28)取得最大值是的物理意义是:找到一个将所有训练样本投影在上面的投 影轴X,使得投影后所得特征向量的总体散布矩阵(即样本类间散布矩阵)最大化。

矩阵S,可以记成下式:

tr(Sz)=E(Y—Er)(r—Er)r=E[(彳一尉)彳][(彳一EA)X]r……I(29)
所以,

纱(S工)=X 7’[E(彳一EA)7’(彳一EA)]X……………………(30)
我们来定义下述矩阵:

G,=E(A—EA)2(彳一以)…………………………(31)
其中G,被定义为图像协方差(散布)矩阵,它是一个n×n(n是图像的列的像素
值)的非负定阵,我们可以直接利用训练样本来计算Gf。假设训练样本总数是M个,


训练图像样本是mxn的矩阵Aj(/=1,2,…,M),所有训练样本的平均图像是j,则
G.可以用下式计算:

G,=万1丢M(4一矾Aj-矾……………..(32)
相应的式(28)的准则就成为:

y(x)=X G,X……………………………………(33)
X是蛆一正交化列向量。式(33)就称为广义总体散布准则。而X就使式(28) 最大化,称为最佳投影轴。其物理意义为:图像矩阵在轴上投影后所得特征向量的总 体分散程度最大。实际上,该最佳投影轴即为图像总体散布矩阵的最大特征值所对应 的单位特征向量。 这里的最佳投影轴XopI是归一化向量,使得J(x)最大化,也就是说,Gf的本征



济南大学硕士学位论文

向量对应着最大本征值[20】。总体而言,只选择一个最佳投影轴是不够的,我们通常

选取一系列的标准正交化投影轴,即设G,的特征值满足丑>如>…>乃,则对应的
标准正交化特征向量是Xl,彳2,…,Xd,即:

fⅨ。,x:,…,髟}=argmaxJ(X) 1矸■i C j只j=l∥2一,d………………。4’
X。,Z:,…,局可以用于特征的提取。对于一个给定的图像样本A,有下式成立:
圪=AXt
(后=1,2,…,d)…………………….(35)

这样,我们就得到了一组投影特征向量:巧,E,…,匕,称为图像A的主成分分 量。二维主成分分析方法选取一定数量d的主成分分量可以组成一个m×d的矩阵,
叫图像A的特征矩阵或特征图像,即:

B=[K,K,…,兄】...…………………….(36)
这样,可以用与主成分分析方法的分类方法类似,选择一种分类器进行训练和测
试就可以了。

二维主成分分析方法相对于传统主成分分析方法来讲,二维PCA直接基于图像 矩阵,特征提取上简单直观,计算量较小,提取特征速度快,但在图像重建的过程中, 需要更多的协同因素和系数,占用内存更多。
Liwei

Wang等人讨论了二维PCA方法与线性PCA方法的等价性【49】,并取得了

一定成果。

2.3.3核主成分分析方法
核主成分分析方法(KPCA,Kemel PCA)[38-41,501是在主成分分析的基础上提出 来的,将人脸图像矩阵拉伸成一个列向量后得到的向量是一个高维向量,对于高维向

量的分类决策,传统的主成分分析存在着一个重要的不足,即原始小样本在高维的空
间中可能是线性不可分的,为了加强可分性,可将原始数据通过非线性变换映射到一

个高维的非线性向量空间,再在变换后的高维空间中进行线性的特征提取和分类,核 主成分分析就是实现这个变换的一个有效途径,变换所用的函数称为核函数。 核主成分分析的基本思想是通过一个非线性映射,将输入数据映射到一个高维特
征空间,再在特征空间上进行线性主成分分析。
1 5
, .

基于主成分分析和神经树的人脸识别方法研究

设输入数据以被映射为①k),假设它们已被中心化,即满足如下条件:


∑①(x七)=0…………………………(37)
其中,以(后=1,2,…,Ⅳ)是N个输入训练样本,①(以)使变换后的训练样本。
映射后训练样本的协方差矩阵C为:

c=专芸①G.,刖7’……………………√38,
接下来在该高维空间进行线性主成分分析。
求解下列的特征方程:


2v=C1/………………………………………………(39)

根据再生核理论。特征向量y一定位于由①G。),①G:),…,①G.Ⅳ)张成的空间 内,即y可以由西G。),①G:),…,①G.Ⅳ)的线性组合表示:
y =

Ⅳ∑日

口 ①



、I-、



¨ ¨.

“O

其中口l,口2,…,口.Ⅳ为常数。 定义一个NxN的矩阵K:

Ki『=①G,)r①G_,)……………………………………(41)
称K为核矩阵。


将(38)、(40)、(41)代入(39)式得: K口=Ⅳ况口…………………………………………(42) 这样,求解式(39)中的特征向量y的问题就转化为求特征方程(42)的特征向 量口。由式(41)知,核矩阵K是对称、半正定方阵,根据矩阵理论,它的特征值
将是非负的。通过解特征方程(41),得到一组非零特征值五,以及对应的满足归一化
, ●

条件(43)的特征向量口7(_,=1,…,N)。

乃0_,,口.,)一…………………….j(43)
根据式(40),得到特征空间的投影主分量l,,(/=1,2,…,N)。
设X是一检验样本,则其在y,上的投影为:
16


济南大学硕士学位论文

p.,户①G):∑N口?①G,),①G):∑N口/KG,,x)………………(“)
1=1 .1=l

这样就可得出原始图像的投影特征向量。




最初的核变换并不能保证∑①k)=0,因此有必要对核矩阵K进行归一化,表
k=l

达是如下所示:
K=K一£K—K_L+LK_L…………………………………(45)

其中L为N×N的矩阵,且满足三(f,_,)2万1(N为训练样本数目)。
在进行特征提取的时候,要计算数据在和空间求得的特征向量y;上的投影值,

可以看出,上述计算中,不需要知道映射函数①G)的确切表达式,只需要知道核函

数KG,y)=bG)7’.①◇))的表达式就可以了。根据泛函的有关理论,只要一种核函数
满足Mercer条件,它就对应于某一空间中的内积,一般采用的核函数有:多项式核 函数;高斯核函数;Sigmoid核函数等,对于选取哪一种核函数及其参数的选择,是 一个有待于进一步研究的问题。

2.3.4其他方法
除了应用较多的上述方法外,,一些学者还提出了其它一些改进方法。如孙鑫等

人设计了一种基于分块主分量分析(Block.PCA)的方法【35】,先将图像分块进行PCA, 再将子块的主分量特征整合,再进行分类也取得了一定的效果。乔宇等人提出的加权 主成分分析(WPCA)的方法【5¨,先根据加权重建误差最小化,计算出各类训练样本 的加权子空间,然后计算测试样本点到各加权子空间的距离,并根据该距离进行分类
识别。Bai Li等人将小波变换和特征脸结合的方法【52-531用于提取特征并作了实验。
Hyun.Chul

Kim等提出混合特征脸的方法‘541用于人脸识别。杨琼等人提出对称主分量

分析【55】,利用人脸的镜像对称性原理分别提取对称K.L特征分量,增强算法的实用
性。

2.3本章小结
本章详细阐述了主成分分析的概念和几种改进算法。其中详细介绍了主成分分析

方法的基本原理和在人脸识别中的应用。对目前比较流行的几种基于主成分分析的算


17

基于主成分分析和神经树的人脸识别方法研究

法进行了描述和比较。主成分分析方法作为特征提取的一种有效方法,应用到人脸图 像的识别中去,还需要有性能良好的模式分类器配合才可以将它的性能表现出来。下

一章我们将来介绍两种性能优秀的智能计算模型——人工神经网络和灵活神经树。

济南大学硕士学位论文

第三章神经网络与神经树模型 3.1神经网络概述
人工神经网络是由20世纪40年代初心理学家McCulleh和数理逻辑学家Pitts提 出的,它是由大量处理单元广泛互联而成的网络,是对人脑的抽象、简化和模拟,反 映人脑的基本特性。人工神经网络的研究是从人脑的生理结构出发来研究人的智能行 为,模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、物理学、计算

机科学等学科的一种技术。人工神经网络可以看成是由简单的处理单元所组成的大量
并行分布的处理机,这种处理机具有存储和应用经验知识的自然特性,它与人脑的相 似之处概括为两个方面:一是通过学习过程利用神经网络从外部环境中获取知识;二 是内部神经元(突触权值)用来存储获取的知识信息。 人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注:
1) 2)

可以充分逼近任意复杂的非线性关系:

所有定量或定性的信息都等势分布贮存于网络内的各神经元,故有很强的鲁

棒性和容错性;
3) 4) 5)

采用并行分布处理方法,使得快速进行大量运算成为可能;
可学习和自适应不知道或不确定的系统; 能够同时处理定量、定性知识。

之所以具有以上的几个突出优点,是因为神经网络具有以下几大特点:.
1)

具有自学习功能。例如实现图像识别时,只要先把许多不同的图像样板和对

应的应识别的结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别 类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络 计算机将为人类提供经济预测、市场预测、效益预测,其应用前途是很远大的。
2)

具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 具有高速寻找优化解的能力。寻找一个复杂问题的优化解,往往需要很大的

3)

计算量,利用一个针对某问题而设计的反馈型人工神经网络,发挥计算机的高速
运算能力,可能很快找到优化解。

神经网络的研究几经沧桑,它的发展历史可以分为5个阶段:
19

基于主成分分析和神经树的人脸识别方法研究

初步发展阶段(1890--1969)。1890年,美国生理学家James出版了《生理学》 一书,首次阐明了有关人脑结构及其功能,以及一些相关的学习、联想记忆的基本规

则。大约过了半个世纪后,心理学家McCulloch和数理逻辑学家Pittst561从人脑信息
处理观点出发,采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一 些基本生理特性,他们提出了第一个神经计算模型,即神经元的阈值元件模型,简称

MP模型,他们认识到了模拟大脑可用于逻辑运行的网络,有一些结点,及结点与结
点之间相互联系,构成一个简单神经网络模型。其主要贡献在于,结点的并行计算能 力很强,为计算神经行为的某些方面提供了可能性,从而开创了神经网络的研究。这 一革命性的思想,产生了很大影响。1949年,Hebb首先提出了一种调整神经网络连

接权的规则,通常称为Hebb学习规则。1958年Rosenblatt等人研究了一种特殊类型
的神经网络,称为“感知器”。他们认为这是生物系统感知外界传感信息的简化模型。

从而掀起了神经网络的第一次研究高潮。
低潮阶段(1969.1982)。1969年,Minsky和Papert发表了专著《感知器》,指出

了简单的线性感知器的功能是有限的,无法解决线性不可分的两类样本的分类问题。 典型的例子如“异或”计算,即简单的线性感知器不可能实现“异或”的逻辑运算,要解 决这个问题必须加入隐层结点。但是对于多层网络,如何找到有效的算法是难于解决
的问题。因此,它使得整个70年代神经网络的研究处于低潮。

复兴阶段(1982~1986年)。美国的物理学家Hopfield于1982和1984年提出了

一种反馈互联神经网络,引起了很大的反响。他定义了一个能量函数,是神经元的桫
态和连接权的函数,利用该网络可以求解联想记忆和优化计算的问题。该网络后来被

称为Hopfield网络,最典型的例子是应用该网络成功的求解了旅行商最优路径问题。
发展高潮阶段(1986~1996年)o 1986年Rumelhart和McClelland等人提出了多

层前馈网的反向传播算法,简称为BP网络或者BP算法。该算法解决了感知器所不 能解决的问题。1987年,美国召开了第一届国际神经网络会议,涉及生物、电子、. 计算机、物理、控制、信号处理、人工智能等各个领域,各类模型和算法纷纷出台。
继续发展阶段(1996--)。在神经网络深入广泛应用的基础上,尽管会碰到难点, 但终将继续发展并促进科学技术的进步。目前,各类与神经网络相关的学术期刊和会

议相应问世,有关神经网络及其应用的文章大量涌现,神经网络已成为国际上的一个
20

济南大学硕士学位论文

研究热点。

3.2神经网络的基本理论
3.2.1神经元模型
神经元是神经网络的基本处理单元,它实质上是对生物神经元的一种模拟。生物 神经元是一个多输入、单输出单元。沿神经元轴突传递的信号是脉冲,当脉冲到达轴
突末梢突触前膜时,突触前膜即向突触间隙释放神经传递化学物质,其结果是在突触

后,即在接受其信息的神经元的树突或细胞体上,产生突触后电位。突触后电位的大 小与轴突传递脉冲的密度有关,对于兴奋性突触,密度愈大,则电位愈高,它就是突
触后电位的时间总和效应。各输入通道均通过突触后电位对细胞体产生的影响,这就

是突触后电位的空间总和效应。细胞体的激励电位是输入端时间、空间总和效应综合
作用的结果。当此电位超过细胞的阈值电位时,在轴突的初段发放脉冲,脉冲即沿轴

突输出。从输入、输出关系看,对于兴奋性突触,当输入脉冲的密度增加时,输出脉 冲的密度也增加。相反,对于抑制性突触,当输入脉冲的密度增加时,输出脉冲的密 度就会减小。为了达到不同的研究目的,常用的人工神经元模型可用下图模拟。

图2人工神经元结构模型

上述图中,嘶为构成神经网络的某个神经元的内部状态、易为阈值,劫为输入信 号,Wl,表示从甜,到吩连接权值,研表示外部输入信号。则一个神经元的数学表达式
可描述为:

a,=∑一嘞+岛-o,,吩=/(mY,-g(u,)=h(O,),h=gf….(46)
其中厂被称为响应函数(或者成为神经元转移函数),它的基本作用:控制输入 对输出的激活作用;对输入、输出进行函数转换;将可能无限域的输入变换成指定的 有限范围内的输出。常见的神经元转移函数有:阶跃函数、准线形函数、Sigmoid函
2l

基于主成分分析和神经树的人脸识别方法研究

数和双正切函数等。各函数表达式分别如下所示:


/./



x≥0

n饫Ⅳ

石<0………………………………(47)
x≤a



XX^∥



=,1

●x O

0≤x≤a……………………………………(48) x<0

/(x)=专-…………………………㈣,
厂(x)=昙(1+th(x--,))……………………………(50)
Z xo

3.2.2神经网络的学习算法
神经网络的学习也称为训练,指的是通过神经网络所在环境的刺激作用调整神经 网络的自由参数,使神经网络以一种新的方式对外部环境做出反应的一个过程。作为
模拟人脑活动的神经网络,有两类学习方式:有教师学Y--J(Learning 有监督学Y---J(Supervised Learning))和无教师学Y---J(Learning without
with

ateacher,又称



teacher,包括强化

学(Reinforcement Leaming)与无监督学习(Unsupervised Learning)或称为自组织学习

(Self-Organized Learning)。 在有教师学习的方式中,学习算法能够根据期望的和实际的网络输出(对应于给 定输入)间的差值来调整神经元间的连接权值,最终使误差最小。因此,有监督学习
需要由教师来提供期望或目标输出信号。有监督学习算法包括6规则、广义6规则或

反向传播算法以及算法LVQ等。 无教师学习方式中,训练数据集中只有输入而没有目标输出,训练过程中神经网 络自动地将输入数据的特征提取出来,并将其分成若干类,训练后的网络能够识别训 练数据集以外新的输入类别,并相应获得不同的输出。无监督学习算法包括Kohonen 算法和自适应谐振理论(ART)等。 还有一种是增强学习算法,它是有监督学习的特例,不需要教师给出目标输出。 增强学习算法采用一个评论员来评价与给定输入相对应的神经网络输出的优度(质量

济南大学硕士学位论文

因数)。增强学习算法主要有遗传算法、Q学习算法等。

3.2.3神经网络的设计
一般来讲,神经网络的设计的内容包括系统的输入、输出设计和网络的设计【91, 网络的设计又包括网络拓扑结构的确定及其权值的学习。

1)系统输入的设计。它主要包括训练集的选择、编码的设计以及输入方式的确
定。 (1)训练集的选择。

在传统的专家系统的设计中,知识的组织与表达是一个难点,怎样将纷杂的知识
进行合理的选取以及把它们表达和组织起来并没有一个通用有效的原则。对于设计神 经网络系统,如果把任意得到的知识送到网络去学习,可能会使设计网络系统因为知 识量大而浪费掉大量的计算资源,也可能因为知识的覆盖范围大小而造成系统无法正

常工作。比如,在用神经网络系统来对白血病细胞进行分类的时候,由于白血病细胞 的特征元素很多(大约有七千多个),但是这些特征元素并不都是影响细胞分类的重 要特征,所以在设计神经网络的结构时没有必要把这些特征全部都输入到网络中去.。 因此在设计神经网络系统的时候要求针对具体的问题,选取有效的知识集样本,以尽 量反映训练集的全貌。
(2)编码的设计。

当训练集确定之后,下一步即要对训练集中的样本进行输入/输出编码,也就是 要确定以什么样的形式使网络进行学习。编码的设计也就是知识的表达问题。编码的 设计主要采用试验与比较的方法。神经网络判断能力优于其推理能力。因此在设计编 码方案时尽可能让网络作判断性的工作而不是推理性的工作。
(3)输入方式的设计。

人们在学习知识的时候要采用一定的学习策略与顺序,如类比、对照地学习,按 照从易到难、从简单到复杂的顺序进行学习等。训练神经网络时,也应该以某种方式 安排训练样本的输入顺序,以提高学习的效率。也就是知识的组织问题。
2)系统输出的设计。

在设计一个应用系统的时候,不可能完全避免其错误,因此,为了提高系统的可

基于主成分分析和神经树的人脸识别方法研究

靠性,可独立地设计出Ⅳ个子系统。这Ⅳ个子系统可以采用不同的训练集、编码方
案,然后对各个子系统的输出进行某种处理,最后得到整个系统的输出。
3)

网络设计。

神经网络的设计包括神经网络模型的选择及其参数的确定。
(1)

神经网络模型的选择

到目前为止,有代表性的神经网络模型有数十种,他们的学习算法数量也很庞大。 这些模型都是为了解决不同类型的问题而设计的,都有各自的适应范围及优缺点。在

.一个完整的网络系统中,可以根据问题各个部分的需要确定使用相应的网络模型。 网络模型的设计通常还考虑其相应的学习算法,不同的模型其适合的学习算法也 有不同,例如有监督性的学习算法的网络适合于分类问题,而无监督性的网络则更适
合于聚类问题。
(2)

神经网络的参数的确定

多层前向网络是目前应用最为广泛的一类神经网络模型。它的主要参数有隐层
数、隐层结点数、神经元的互连方式、连接权系数和传递函数以及学习规则等。确定 这些参数即是通常所说的设计神经网络的过程。

神经网络的结构和参数的设计,传统方法主要是根据经验来定的,但是在用神经 网络系统解决一个实际问题时,它的结构和参数的选择决定了它解决问题的能力,仅 凭借经验有时无法找到合适的网络结构和参数,所以神经网络的自动设计成为近年来 的一个研究热点。

3.3神经树的基本理论
神经树[23-25,63]的提出是为了解决人工神经网络的自动设计问题,它是一个类似 于人工神经网的智能计算系统,我们可以把它看成是一个分级的、多层的和不规则的 人工神经网,它采用树结构编码(树的结点来自于事先定义好的函数指令集,和终端
指令集丁),树的每一个非终端结点都有一个非线性映射函数,该函数有一个或者多

个可调节的控制参数,结点之间的都有相应的连接权值。由于神经树模型的基于树编 码的结构特点,一些基于树结构的进化算法,如蚂蚁编程、遗传编程以及遗传编程的 变异算法等都可以用来优化神经树的结构,而模型中的可变参数则可用遗传算法、禁
24

济南大学硕士学位论文

忌搜索算法、粒子群优化算法、模拟退火算法等优化算法来优化。

3.3.1神经树的编码
我们把用来产生神经树的神经树指令集s分为函数指令集,和终端指令集丁,函

数指令集F和终端指令集丁定义为:S=FU产{+2,+3,...,+。)u{Xl,x2,...,Xn>,这里
+i(f=2,3,...,加表示非叶子结点的指令,有z个参数;Xl,X2,...,‰表示叶子结点的指 令,他们没有参数。一个非叶子结点的输出可以看成是一个灵活神经元计算的结果,
如图3和图4所示。

图3一个神经元算子

输出层

第二隐层

第一隐层

输入层

图4

S=FO

T={+2,+3,...,+n)u{xl,x2



o..9

xn)的一棵神经树

在神经树的产生过程中当一个非叶子结点指令被选择的话,也即+i被选择,就随 机产生i个值作为非叶子结点+i和它的孩子之间的连接权值,另外再随机产生两个数

基于主成分分析和神经树的人脸识别方法研究

ai和bi作为该结点激励函数的灵活参数。神经树模型中的非叶子结点的激励函数(或 称为映射函数)用下面的式子表示:

一(卫)‘
f(ai,包,x)=e
+n的总激励结果是:
bi

…………………………(51)

net刀=∑wj%xj
.,=1

…………………(52)

这里xj(j=2,3,...,N)是结点+n的输入,结点+n的输出可以如下式计算得到:

伽打=/(碱彤乙)=P一(警)……………(53)
3.3.2神经树的进化算法
神经树是一种能够自动进行设计的智能计算系统,即它能够实现树结构和相关参 数的自动优化,由于神经树模型的基于树编码的结构特点,基于树结构的进化算法都 可以用来优化神经树的结构,而模型中的可变参数(结点之间的连接权值和激励函数 的相关参数)则可用遗传算法等进化算法来优化。
目前,比较好的优化神经树的结构的方法是遗传编程,Wh Peng等人的研究提出

了基于上下文无关语法引导的遗传编程的方法应用于神经树的结构优化取得了不错 的效果【57】。简要介绍如下:
基于上下文无关语法引导的遗传编程的核心是这个上下文无关的语法模型,它可

以看是由一个四元组构成的,可以表示成为G={Ⅳ,Z P,∑),这里Ⅳ是一个非终端符 号集,丁是一个终端符号集,尸是一个产生规则集合,∑是一个开始符号集合,其中

集合Ⅳ和集合丁的交集为空集,∑是Ⅳ的子集。产生规则集合的元素的形式如x叫
所示,这里z属于集合Ⅳ,Y属于集合NU

T,如果神经树的生成指令集S=FU弘{+2,

+3)u(XI,X2,...,Xn),则语法模型里面的Ⅳ就可以定义成Ⅳ-强exp,var,op2,op3}, 产{+2,+3,Xl,砌,...,粕},∑={研,产生规则集合尸的元素如下式(54)或者式(55)

济南大学硕士学位论文

所示,

J—'exp

exp---.>exp op2 exp

Pxp口:善p口r3e X口j

V口r

P印P印P印…………………………(54) …………………………………L)‘|,

0P 2—争+.

op3_+3 VGF—x ll工2 I…l
S P P P D D


x。



岭印印

≥哼
一r—r专专





p2 p3

P巴

印印

口P

印印

P X

p …………………………………(55)

印艘粥¨

一屯屯州 屯

l…I

X。

基于上下文无关语法引导的遗传编程的混合进化算法可以描述如下:

第一步,初始化操作。设置好基于上下文无关语法引导的遗传编程的重要参数的

初始值,如种群规模Popsize,最大深度Maxdepth,交叉概率仇,变异概率砌,最大
迭代次数Maxiterm等参数的初始值。 第二步,优化神经树的结构。 (1)随机生成初始群体。生成每一棵个体树时,都是以非终端结点S开始, 然后根据语法模型的规则按照自顶向下和自左向右的顺序派生出每一个非 终端结点的子树,比如如果当前的派生结点是exp,根据产生规则 exp专印2
exp exp,exp--》op3 exp exp

exp,exp专船,可以有三种派生

方式如图5所示,需要注意的是图中所示的三种方式的选择概率是一样的。 当树中所有非终端结点都有子树就停止对该树的派生过程,然后判断该树

的深度,如果深度大于事先定义的最大深度值,则认为该树无效;删除之 后重新生成一棵树;若深度小于最大深度值则认为该树有效,保存到种群
中即可:

基于主成分分析和神经树的人脸识别方法研究

图5非终端结点exp的三种派生方式

(2)用适应度评价函数为群体中的每个程序个体赋一个适应度,注意这时每
棵树中参数(连接权值和激励函数的相关参数)是一些随机数。然后应用

三种遗传算子(复制、交叉、变异)产生一个新程序群体,选择被处理的个
体时是以基于适应度的概率值为标准的(允许重新选择),具体的遗传算子操 作过程如3.4节所述。 (3)如果找到一棵适应度合适的神经树,或者满足终止准则就进入第三步,

否则转至步骤2。 第三步,优化神经树的相关参数。这里的参数优化算法可以是遗传算法、禁忌搜 索算法、粒子群优化算法等,进行参数优化的时候神经树的结构是不变的,这棵神经 树是第二步的进化结果,具体的参数优化步骤下面述及。 第四步,参数优化后再次评估神经树的适应度,若该适应度的值满足终止准则或 者达到最大迭代次数终止整个算法将结果输出即可;否则跳至第二步。 由于神经树中相关参数的优化也会影响到整个进化算法的效率,所以在研究中笔.
者尝试采用不同的优化算法, 如遗传算法、禁忌搜索算法【58】、粒子群优化算法【261、

模拟退火算法㈣等作为神经网络相关参数的优化算法。下面简介一下这些参数优化算
法的基本实现思想。

1)禁忌搜索算法。 禁忌搜索算法(Tabu Search,TS)的思想最早由Glover在1986年提出的,它 是对局部领域搜索的一种扩展,是一种全局优化算法。禁忌搜索算法通过引入一个灵 活的存储结构和相应的禁忌准则来避免迂回搜索,同时采用藐视准则去赦免一些被禁 忌的优良状态。局部领域搜索是基于贪婪思想持续地在当前解的领域中进行搜索,其
搜索性能完全依赖于领域结构和初始解,很容易陷入局部最优而无法保证全局最优
2R

济南大学硕士学位论文

性,禁忌搜索算法作为局部领域搜索的一种改进,它最重要的思想就是标记对应已经 搜索到的局部最优解的一些对象,并在进一步的迭代搜索中尽量避开这些对象,从而 保证对不同的有效搜索途径的探索。禁忌搜索算法一般涉及到领域、禁忌表、禁忌长 度、候选解和藐视准则等概念,它们是影响禁忌搜索算法性能的关键。其中,领域是


用来决定当前解的领域解的产生形式数目以及各个解之间的关系;禁忌长度决定了禁
忌对象的任期,其大小直接影响整个算法的搜索效率;候选解是一个集合,它通常是

当前状态的领域解集的一个子集,在设计算法的过程中它的取值一般较小,但是过小 将容易造成早熟收敛;藐视准则的设置是算法避免遗失优良状态,激励对优良状态的
局部搜索,进而实现全局优化的关键步骤。 简单禁忌搜索算法步骤描述如下:

第一步,初始化算法的相关参数,随机产生初始解向量x,设置禁忌表为空;
第二步,利用当前解向量x的领域函数产生一些领域解,并从中选择一些作为候 选解;


第三步,判断候选解是否满足藐视准则,若成立,则用满足藐视准则的最佳状态 Y替代石成为新的当前解,并用于y对应的禁忌对象替代最早进入禁忌表的禁忌对象, 同时用Y替换“bestsofar”状态,然后跳至第五步,否则,执行第四步;
第四步,判断候选解对应的各对象的禁忌属性,选择候选集中非禁忌对象对应的

最佳状态为新的当前解,同时用与之对应的禁忌对象替换最早进入禁忌表的禁忌对象
元素。

第五步,判断是否满足算法终止条件,若满足,结束整个算法并输出优化结果; 否则,跳至第二步。 2)粒子群优化算法。 粒子群优化算法(Particle
Swarm Optimization

algorithm,PSO)是一种进化计算

技术,它是由Eberhart博士和Kennedy博士提出的。该算法源于对鸟群捕食的行为研 究,它同遗传算法类似,是一种基于迭代的优化工具。系统初始化为一组随机解,通 过迭代搜寻最优值。但是并没有遗传算法用的交叉以及变异。而是粒子在解空间追随
最优的粒子进行搜索。同遗传算法比较,PSO的优势在于简单容易实现并且没有许多

参数需要调整。目前已广泛应用于函数优化,神经网络训练,模糊系统控制以及其他
29

基于主成分分析和神经树的人脸识别方法研究

遗传算法的应用领域。 Eberhart博士和Kennedy博士最初的目的是在二维空间建立一种模型以图形化鸟 群的运动,PSO从这种模型中得到启示并用于解决优化问题。PSO中,每个优化问 题的解都是搜索空间中的一只鸟,我们称之为粒子。所有的例子都有一个由被优化的 函数决定的适应值,每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们

就追随当前的最优粒子在解空间中搜索。PSO初始化为一群随机粒子,然后通过迭 代找到最优解。在每一次迭代中,粒子通过跟踪两个极值来更新自己。第一个就是粒
子本身所找到的最优解,这个解叫做个体极值PBest。另一个极值是整个种群目前找到 的最优解,这个极值是全局极值gB。髓。 设第f个粒子位置为Xi={Xil,Xi2,...,Xin)‘,其位移为Vi={Vii,Vi2,...,vin)‘。它的
?

个体最优值点为Pi--{Pil,pi2,...,pin)‘,种群的全局最优值点为Pg={Pgl,p92….,踟>‘。
按追随当前最优粒子的原理,粒子Xi将按式(56)和(57)改变位移方向和步长。

H(,+1)=1,。(,)+cl磊(P,O)一z10))+C2欢(pgO)一工j(,)…………(56)
zfO+1)=.■(,)+Vj(f+1)….:……………………………………….(57)

其中:伊1和驴2为分布于[O,1]之间的随机数,Cl和晚为位移变化的限定因子, 通常取为2。在每一维粒子的速度都会被限制在一个最大速度‰缸,如果某一维更新
后的速度超过用户设定的‰找,那么这一维的速度就被限定为‰舣。

PSO算法主要计算步骤为: 第一步,初始化,设定位移因子cl和c2,最大进化代数,m驭,将当前进化代数置 为f,在定义空间R。中随机产生S个粒子xl,耽,…,旎,组成初始种群x(力;

随机产生各粒子初始位移变化1,l,v2…?,魄,组成位移变化矩阵v∽;
第二步,评价种群x(力; 第三步,按式(56)和(57)更新: 第四步,粒子的位移方向和步长,产生新种群x(什1); 第五步,检查结束条件,若满足,则结束整个算法:否则f=f+1,转至第二步。 3)模拟退火算法 模拟退火算法(SimulatedAnnealing,SA)的思想最早是由Metropolis等人于1953
30

济南大学硕士学位论文

年提出的,它是基于Mente Carlo迭代求解策略‘5卯的一种随机搜索算法,其出发点是 基于物理中固体物质的退火过程和一般的优化问题之间的相似性。模拟退火算法在某 一初始温度下,伴随着温度参数的不断下降,结合概率突跳特性在解空间中随机搜索 目标函数的全局最优解,即在局部最优解中能概率性地跳出并最终趋于全局最优。 模拟退火算法最早是针对组合优化提出的,其目的在于:为具有NP复杂性的问 题提供有效的近似求解算法;克服优化过程陷入局部最优:克服算法对初始值的依赖

性。模拟退化算法包括新状态产生函数、新状态接受函数、退温函数、抽样稳定准则 和退火结束准则以及初始温度等几个主要结构,它们直接影响算法优化的结果,通常 要求算法具有较高的初始温度、较慢的降温速率、较低的终止温度以及各温度下足够
次数的抽样等条件。

标准模拟退火算法的一般步骤描述如下:

第一步,设定初始温度嘞,随机产生初始状态滞o,令红o;
第二步,产生新状态sj=Generate(s);如果1和exp[一(C弛)一∞))仉】中的较小数大 于或等于O到1之间的一个随机数,则令郦i;重复执行该步骤直到满足抽样稳定准
则,继续往下执行;

第三步,退温tk+l----update(tk)并令拓抖1;
第四步,判断是否满足终止条件,若满足就结束整个算法然后输出搜索结果,否 则跳至第二步。

以上进化算法各有优缺点,在应用时可以将它们混合使用以往提高优化效率,神
经树的混合进化算法一般可以描述如下:

第一步,初始化操作:设置好进化算法的相关参数的初始值; 第二步,结构优化:选择一种基于树结构的进化算法如遗传编程,蚂蚁编程等算
法来优化神经树模型的结构,根据应用的具体问题选择合适的适应度评价函数;

第三步,如果找到一个结构合适的神经树,跳到第四步执行,否则转至第二步继 续结构优化; 第四步,参数优化:神经树模型的参数主要是结点间的连接权值和激励函数的可 变参数,选择一种参数优化算法来优化相关参数如遗传算法、禁忌搜索算法、粒子群 优化算法、模拟退火算法等,这一阶段神经树的结构是固定的,这个结构来自于上一

基于主成分分析和神经树的人脸识别方法研究

步的优化结果; 第五步,如果语法引导遗传编程的迭代次数已经最大,或者找不到更好的参数向

量,则跳到第六步,否则转至第四步; 第六步,当找到满意的结果或者其他终止条件满足就停止整个算法,否则转至第
二步。

3.4本章小结
本章主要介绍了两方面的内容:1、人工神经网络的概念和发展历史,阐述了神经 网络的一些基本理论包括神经元模型、神经网络的学习算法以及神经网络的设计内 容。2、阐述了神经树的基本理论,包括神经树的编码特征,结构特征,参数特征以 及构建神经树的进化算法等知识,研究了如遗传算法、粒子群优化算法等来建立神经 树模型的方法。下一章我们将使用神经网络和神经树分别作为人脸图像的分类器进行
实验。

32

济南大学硕士学位论文

第四章仿真试验及结果分析
这一章我们将以主成分分析和线性判别式分析方法作人脸图像的特征提取,用人 工神经网络和灵活神经树来作分类器,进行实验。为了使实验结果具有较高的可信度
和可参考性,我们采用国际上较通用的人脸图像数据库作为实验对象,并将最后的实

验结果与其他一些方法作分析比较。
一般来讲,人脸识别系统的性能主要从以下两方面来考察: (1)识别率

人脸识别的识别率是针对确定的数据库来说的,很难有一个绝对的标准。不同的
数据库中图像的数目、光照条件、表情、姿态等变化范围不同,识别率相差很大,因

此,如要比较不同人脸识别方法的性能,需要基于相同的人脸库。在国际上已有的人 脸库有剑桥大学的ORL数据库,耶鲁大学的Yale数据库,美国国防部的FERET数
据库,卡耐基梅隆大学的CMU PIE数据库,曼彻斯特大学的UMIST数据库等。 (2)识别速度 识别速度有两种,一种是基于文件的,即把特征存成文件,在文件级进行比对。

另一种是基于数据库的,如在Oracle数据库中进行比对,在数据库中存有详细的人 员档案由此可以进行图文混和查询,提高查中率。 这两种方式各有特点,目前的研究是将两者的优点结合在一起,以实现高速、高
识别率的人脸识别。

目前,人脸识别方法非常丰富,为了与其他方法作分析比较,我们选用了使用最 为广泛的ORL数据库和Yale数据库进行实验。 人脸图像识别系统应包含图像的预处理、图像特征提取、模式分类器的训练和测
试等过程。
修改参数,重新训练 差

基于主成分分析和神经树的人脸识别方法研究

4.1图像预处理
在实际应用中,常常需要提取图像中感兴趣的目标,而该目标往往处于非常复杂 的场景中,例如人脸图像中除了含有感兴趣的人脸信息以外还可能有树木,建筑等其
他信息。为了进行基于图像处理的目标提取,待提取的目标必须具有与背景截然不同 的特征,图像预处理技术正是为了突出这些特征并最大程度地消除掉背景特征的影

响,以利于方便准确地提取出感兴趣的目标。这些处理有时也称为人脸检测技术。
图像在形成、传输或变换过程中,受多种因素的影响,如:光学系统失真、系统 噪声、暴光不足或过量、相对运动等,往往会与原始景物之间或图像与原始图像之间


产生了某种差异,这种差异称为降质或退化。这种降质或退化对我们后面的处理往往 会造成不利的影响。因此在图像处理之前应该进行预处理,常用的预处理分为图像平

滑和图像锐化两种,平滑处理,包括去除噪音,边界增强,增加亮度等等。锐化处理 能够突出图像中的细节,增强被模糊了的细节。
在我们的实验对象ORL和Yale数据库中,由于图像是实验室数据,已经经过去 除噪声处理,而且图像为同样大小的数据信息,因此不再需要图像的检测。经过对

Yale数据库中的图像的观察,发现图像中除人脸信息外,图像两侧均有非人脸信息的 空白区域,为了提高人脸图像的识别率,因此对Yale数据库中的人脸图像都进行了
裁剪操作,将图像两侧的空白区域剪除得到了实验用的样本库。

对于一个高效的人脸图像识别系统,图像的预处理是非常重要的步骤,只有将采
集到的图像进行一系列处理,才能标准化图像识别系统的输入,加速特征的提取过程,

提高提取特征的有效性以及最终的识别率。

4.2特征提取
在实验中,我们采取了两种特征提取的方法:主成分分析方法和Fisher方法(即 线性判别式分析方法),理由如下:从数学角度看,以K L变换为基础的主成分分析
的人脸识别方法是统计最优的,它使得压缩前后的均方误差最小,且变换后的低维空

间有很好的分辨能力。另外Fisher方法是在主成分分析的基础上作有利于分类的变 换,可以考察对识别率的影响。 选择降维后的主分量个数是影响识别率和识别速度的重要因素,在2.2.2节介绍
34

济南大学硕士学位论文

了确定的三种方法,在这里,我们将采用阈值的方法,但要根据实验结果进行调整, 测试不同主分量个数对识别率的影响已确定最佳特征个数。

4.3模式分类方法
模式分类器的选择直接影响到最终的识别效果,我们在实验中分别建立了人工神

经网络和灵活神经树两个模型。下面介绍具体的设计实现与优化过程。

4.3.1神经网络分类器
在众多的神经网络训练算法中,反向转播算法(Back Propagation,BP)是最流 行的。因此在这里采用BP算法。在优化算法的选择上,使用粒子群优化算法来优化 网络连接权值。网络使用的是三层神经网络,输入层、隐含层和输出层。对于隐层节 点数目,我们根据建构算法进行动态调整。 1)适应值函数 对于适应函数(fitness function),由于目标是人脸的识别而不是数据逼近,我们 无需精确的逼近每一个数据,只需把结果逼近到一个可接受的范围即可。由于是做二

类判断,只有是、否两种可能。对此,我们不使用均方误差和(Mean

Square Error)

来作为适应函数,而是使用如下的激励函数(activation function),将Sigmoid函数改
变如下:


f(x)=2小互1+专)..…………………..(58)

经过变化后的函数输出范围为(.1,1)。由于激励函数的改变,我们将“是”定为 1,“否”定为.1,这样适应函数则表征错误识别的次数。通过这个次数我们能方便的 计算识别率。
2)节点个数的确定

对于输入层节点的数目,由于神经网络输入的是图像的特征数据,因此,输入层 节点数目由特征提取变换后提取的特征数据的数目决定。 对于输出层,由于只进行是或否两类判别,因此,输出层节点数目定为一个。
对于隐层节点数目的确定,我们采用隐层数目可变的方法。即一开始设置较多的

隐层节点,随着训练过程的进行,逐步修减掉在网络训练中不起作用的节点。对于每

基于主成分分析和神经树的人脸识别方法研究

一个神经元,若在训练过程中,其连接权的数值的绝对值小于一个事先确定的数值£,
那么便把此权值赋零。如果此神经元的所有连接权值为零,则删除此神经节点。 3)参数优化方法 我们采用粒子群优化算法来优化神经网络的连接权值,PSO的参数设置如下: (1)粒子的维数:由网络的连接权值决定,即由输入、输出与隐含层节点个数 决定。 (2)粒子的数目:依据经验,对于一般的问题,粒子数目取20.30之间。大部分

的问题,粒子数目取10便能取得较好的效果。由于人脸的复杂性,我们把粒子
数定为20。

(3)‰:最大速度,决定粒子在一个循环中最大的移动距离,通常设定为粒 子的范围宽度,我们设定粒子属于【一5,5】,那么k的大小就是10。
(4)学习因子:c。和C:通常等于2,不过在文献中也有其他的取值,但是一般q 等于C,并且范围在0和4之间。

(5)中止条件::最大循环数以及最小错误要求。这个中止条件由具体的问题确
定。

4.3.2灵活神经树分类器
创建灵活神经树模型的一般学习过程描述如下: 1)随机的创建初始化种群,包括灵活神经树及其参数;

2)结构优化:用3.3.2节描述的算法来优化神经树模型的结构; 3)如果找到一个结构合适的神经树,跳到第(4)步执行,否则转至第(2)步
继续结构优化;

4)参数优化:神经树模型的参数主要是结点间的连接权值和激励函数的可变参 数,选择优化算法来优化相关参数,这一阶段神经树的结构是固定的,这个结构来自
于上一步的优化结果;

5)如果局部搜索的迭代次数已经最大,或者找不到更好的参数向量,则跳到第
(6)步,否则转至第(4)步;

6)当找到满意的结果或者其他终止条件满足就停止整个算法,否则转至第(2)

济南大学硕士学位论文

步。 具体的优化方法如下:采用基于上下文无关语法引导的遗传编程和粒子群优化算 法建立分类神经树模型,设经过特征提取的特征个数为W维,该神经树模型的指令

集为S=FU弘{+2,+3,…,+lo)u{XI,X2,...,xw>,语法模型G中的各集合分别为 Ⅳ.{墨exp,var,op2,op3….,op9},∑={研,产{+2,+3….,+9,Xl,x2,...,h},产生规
则集尸如式(59)所示。
s—争exp exp—子op2
. ?

exp

exp exp

exp




op3

exp
●●●●●●

exp

exp—》op9

exp

exp…exp
……………………………………(59)

exp专var
op2一+2 op3寸+3 j+9

op9

Var---》而M??h
神经树本身具有一定的特征选择功能【691,因此在实验的过程中能够进一步的在已 降维的特征中继续选择那些相对重要的特征。可将这些特征保留以分析它们对识别性
能的影响。在下一节我们将通过实验来比较上述方法。

4.4实验结果
4.4.1

ORL数据库





ORL人脸数据库共有400幅人脸图像,它们是英国剑桥大学的Olivetti

Research

Laboratory拍摄的,照片拍摄时间是在1992年4月到1994年的4月,图像大小为 92x112像素,每个像素为256个灰度级。


数据库中共有40个人的人脸图像,每人10幅。照片拍摄于不同的时间,有在一 定范围内的光照变化,面部表情变化(有无微笑、有无闭眼),和脸部细节变化,并 且所有照片都是黑色背景下的准正面直立照片(有一定范围内的头部转动,转动角度
一般不超过20度)。 ORL数据库中的部分人脸图像如下图所示。
37


基于主成分分析和神经树的人脸识别方法研究

图7

ORL数据厍中部分人脸图像

由于ORL数据库中的图像属于标准图像,没有边界和噪声,因此可认为图像数 据已经经过预处理,可直接降维。 图像大小为92×112像素,共40个人的400幅图像(每人10幅)。在实验中每人 任意的选取5幅图像作为训练样本集,剩下的5幅作为测试样本集以测试系统性能。 为了防止样本特征提取不完善,不能充分代表所选的人物特征,本文采用对于序号为 奇数的人选取奇数图像作为训练样本,序号为偶数的人选取偶数图像作为训练样本的
选取方法。

实验步骤如下: 第一步:读取训练样本,选择特征提取方法(PCA或fisher)将图像降维: 第二步:根据降维后的训练样本构造模式分类器(神经网络或者神经树),并进 行训练; 第三步:读取测试样本,将测试样本采用相同特征提取方法降维后输入至上一步 训练好的模式分类器,进行测试,得出测试结果。

38

济南大学硕士学位论文

首先我们用PCA+NN和Fisher+NN的方法进行实验以确定最佳主分量个数。在 ORL数据库上主分量个数与识别率的关系如图8所示。

0 0 0 0 0 O

一零一al∞叱

0 0 0 0

∞舌;∞加∞ 柏D仰加∞ 。
10 20 30 40 50 Dim 60 70 80 90

图8主分量个数Dim与识别率Rate变化曲线(ORL数据库)

在图8中,我们看出,基于PCA和Fisher的特征提取方法在逐渐增加主特征个 数到60前均为上升趋势,而在60后则没有明显变化,因此我们将提取的主分量个数
定为60。下面我们针对PCA+FNT、fisher+FNT两种方法进行实验,得到的识别率 如表1所示。
表l几种方法在ORL人脸库上的识别率比较 使用方法 识别率
PCA+NN PCA+FNT Fisher+NN

Fishe什FNT
98.4%

98.4%

98.5%

98.9%

从表1的结果来看,PCA的识别效果和Fisher相差不大,但是由于Fisher的方
法是基于PCA的,因此Fisher的算法计算量要大一些。
?

为了和其他方法作一个比较,我们在这里查阅了一些其他方法的实验结果,并与

我们的结果作了一个对比,见表2。

39

基于主成分分析和神经树的人脸识别方法研究

表2不同方法在ORL人脸库上的识别率 使用方法
ICA+FLD[70】 DCT+NNil3】 NN[7l】 LDA+RBFN[72】 FS+RBFN[72】 PCA+RBFN[72】 PCA+FNT

识别率
90% 96.5% 96.7% 94.0% 92.O% 94.5% 98.5%

在这里,我们列出了PCA+FNT识别方法对ORL库中40个人的识别情况,见表
3所示。
表3 PCA+FNT在ORL数据库上的识别率 人脸编号
S1 S2 S3 S4 S5 S6 S7 S8 S9 SlO S11 S12 S13 S14 S15 S16 S17 S18 S19 ¥20


正判正例
60% 80% 80% 60% 80% 60% 60% 100% 80% 100% 60%
100%

误判正例
1.02% 0.51% 1.02% 1.54% 1.02% 1.02% 1.02% O.00% 1.54% O.00%一 1.02% 1.02% 1.02% O.OO% O.51% 0.OO% 0.OO% 2.56% 1.02% 1.02%

准确率
98.OO% 99.00% 98.50% 97.50% 98.50% 98.00% 98.00% 100.OO% 98.OO% 100.00% 98.00% 99.00% 98.50% lOO.OO%
99.50%

S2l S22 S23 ¥24 ¥25 826

80% 80% 80% 100% 80% 80% 40% 80% 80% 60% 60% 60% 40% 80% 40% 60% 60% 60% 80% 80% 74.OO%

2.05% 1.02% 2.56% 1.02% 2.05% 1.02% O.00% 1.02% 0.OO% 1.02% O.00% O.00% 1.02% 0.51% 1.02% 1.54% 1.02% 0.51% 1.02% 1.02% 0.91%

97.50% 98.50% 97.00% 99.00% 97.50% 98.50% 98.50% 98.50% 99.50% 98.00% 99.OO% 99.OO%
97.50%

S27
¥28 S29

S30
S31 ¥32 S33 S34 ¥35

80% 100% 100% 60% 100% 100% 80% 80%

99.00% 96.50% 97.50% 98.00% 98.50% 98.50% 98.50% 98.46;%

¥36
¥37 ¥38 S39 840

99.00% 100.OO% 97.50% 98.50%
98.50%

平均

济南大学硕士学位论文

其中,正判正例的含义是在200个测试图像中正确的五幅判断正确的比率,误判 正例的含义是剩余的195幅判断错误的比率。从表3可以看出,该方法在判断某几个 人(s8,s10,s14,s17)时正确率达到了100%,其他人的正确率也都在97%以上, 表明这种方法具有良好的性能。
4.4.2

Yale数据库

Yale数据库是美国耶鲁大学制作的,数据库中共有15个人,每人11张照片,主 要包括光照条件的变化,表情的变化等。其中比较规律的有每个人的第三张照片会戴 眼镜,第五、八张照片是侧面光照,部分人脸图像如图9所示。总的来讲,Yale库中 图像变化比ORL数据库要大,由于主成分分析受光照条件影响较大,所以在该数据

∞堂堂黧堂童堂雪雪 口QQ口g口9蛋9口譬 管禽蟹管船蛐蟹雷管
库上的测试是一个考验。
图8

Yale数据厍中部分人脸图像

由于Yale数据库中的图像边缘有空白区域,为了不影响图像的识别率,在原始样 本上进行了图像的预处理,将图像的空白边缘裁减。 Yale数据库中每人有11幅图像,我们随机选择5幅作为训练样本集,另选五幅作

测试样本集。由于FNT本身具有特征选择的功能,因此,采用PCA扑矾、PCA+FNT
和FNT三种方法在Yale数据库上进行实验,实验结果如下表:

4l

基于主成分分析和神经树的人脸识别方法研究

表4几种方法在Yale人脸库上的识别率比较



使用方法I

PCA+NN

PCA+FNT



FNT



经表4与表2比较,可以看出在Yale数据库中,同样的方法不如在ORL数据库 中的识别率高。经过比较数据库图像可以知道,有造成Yale的识别率不如ORL数据 库的主要原因是Yale中的人脸图像光照影响变化大,而这正是.PCA方法的局限性。 此外,可以看出,单纯利用神经树进行识别的方法不如先使用PCA降维的效果。这

是因为神经树的结构特征具有一定的特征提取功能,在进化树结构的过程当中,一些 重要的特征作为树叶子结点会被复制传递,最终进化得到的神经树的叶子结点就是提
取到的重要特征。在这种情况下,原始数据的大量性以及神经树的结构复杂性,决定

了它不具备抽取最为有利的特征进行识别,所以在以后的应用中应先将样本进行特征 提取然后再使用神经树来构建分类预测模型,其效果会更佳。
表5列出了PCA+FNT方法在Yale数据库上的识别情况。
表5 PCA+FNT在ORL数据库上的识别率
TP


FP 1.43% O.00% O.00% 1.43% 1.43% 2.86% O.OO% O.OO% O.00% 1.43% O.OO% 1.43% 0.OO% 1.43%‘ 1.43% O.86%

Accuracy

sl s2 s3 s4 S5 s6 s7 s8 s9 s10 sll S12 S13 S14 S15

100.00% 60.00% 80.00% 80.00% 80.00% 60.00% 80.00% 80.OO% 60.00% 80.OO% 80.OO% 80.00% 80.00% lOO.OO% 80.OO% 78.67%

98.67% 97.33% 98.67% 97.33% 97.33% 94.67% 98.67% 98.67% 97.33% 97.33% 98.67% 97.33% 98.67% 98.67% 97.33% 97.78%

"Average

其中,s1,s2,…,s15表示类别编号,TP表示正判正例,FP表示误判正例。可 以看出PCA+FNT的方法在Yale数据库中的准确率也达到了97.8%。 综合在ORL数据库上的实验情况,我们可以得出结论,以主成分分析方法为基础 的特征提取方法在光照影响变化不大(如ORL数据库)的情况下,通过与灵活神经
42
?

济南大学硕士学位论文

树的分类方法相结合,这种人脸识别的新模型对准正面人脸图像的识别具有有效性和
稳定性。

43

基于主成分分析和神经树的人脸识别方法研究

第五章总结和展望
5.1工作总结
近年来,人脸识别已成为许多研究领域的关键技术,成为计算机视觉和图像处理 的一个热点研究方向。本文针对静态灰度图像的人脸识别这一课题展开了初步研究,

其内容涉及到基于主成分分析和神经树的人脸识别方法。在总结他人研究成果的基础
上,作者在以下这些方面做了一些工作: l、基于主成分分析的特征提取方法的研究:对主成分分析方法的基本原理进行

了阐述,介绍了主成分分析在人脸识别中的应用方法。研究了线性判别式分析方法、 二维主成分析方法、核主成分分析方法等基于主成分分析的改进方法并进行了实验比
较。

2、基于神经网络和神经树的模式分类方法的研究:对人工神经网络的基本理论 及其在近年来的发展进行了总结,分析了神经网络的自动设计目前存在的问题,然后 引出神经树的概念并分析了特点。研究了神经网络和神经树的参数优化算法和结构优
化算法。

3、提出了一种新的人脸识别的方法:通过主成分分析方法和一些改进方法进行 人脸图像的特征提取,然后利用灵活神经树作为模式分类器进行模式识别,经过在 ORL和Yale等人脸数据库上的实验,结果表明该方法的有效性和鲁棒性。

5.2展望’
人脸识别涉及到很多理论和技术问题,本文只是进行初步的探索和尝试。在这个
基础上可进行的后续研究可以从以下几个方面考虑。

首先,如何利用各种图像的特点,对静态人脸灰度图做相应的图像预处理,从而 克服光照和表情变化对识别的影响,提高人脸识别系统的表情和光照鲁棒性。在进行
人脸识别的特征提取过程中,如何能够更好的利用图像的各种信息,比如灰度统计信

息和结构信息,将各种可能的信息集合起来,找到能最大限度的利用图像现有信息的
人脸识别方法。

其次,任何实验的目的都是为了应用,在针对静态图像的实验取得好的效果时,
44

济南大学硕士学位论文

对真实人脸的测试才是检验某种方法的试金石,将该方法完善成一个系统,并结合图 像采集进行实时真实人脸的分类,是下一步的计划。

最后,每种人脸识别方法都各有优缺点,如何充分利用现有的各种人脸识别方法, 发挥某一类方法的优点,克服某一类方法的缺点,将它们进行有效的综合和组合,也
是以后一个探索的方向。

45

基于主成分分析和神经树的人脸识别方法研究

致谢
首先,衷心感谢我的导师陈月辉教授!三年来,他对我的学业和以后的发展方向 给予了很多指导,他的严谨求实的治学态度、一丝不苟的工作作风、诲人不倦的学者
风范、创造性的思维方法都极大地影响和教育了我,使我受益匪浅;对本专业前沿科

学敏锐的洞察力、对学生严格要求、平易近人、和蔼可亲给我留下了深刻的记忆,使 我终身难以忘怀。在此,谨以最真挚的问候和衷心的感谢,祝老师工作顺利,阖家欢
乐!

感谢计算智能实验室的所有老师和同学,感谢他们在学习和生活上给予的无私帮
助、关心和支持,与他们的相处和学术交流,使我受益良多。

感谢济南大学信息科学与工程学院许多老师的帮助和指导。在学习和工作过程 中,在向他们请教、探讨和交流中,不断地充实自己,锻炼了科研能力,提高了学术 水平。在此,向他们表达深深的谢意! 感谢我的家人和朋友们对我的理解、支持和鼓励! 本文参考了许多学者的著作和文献,在此对这些学界前辈们致以崇高的敬意,他
们的杰出成就为后人指出了前进的方向。 感谢所有给予我关心和帮助的朋友们!

济南大学硕士学位论文

参考文献
【l】边肇祺,张学工.模式识别(第二版)[M】.北京:清华大学出版社,2000. 【2】吴逸飞.模式识别.原理、方法及应用口川.北京:清华大学出版社,2002. 【3】刘向东,陈兆乾.人脸识别技术的研究【J].计算机研究与发展,2004,41(7):1074—1080. 【4】 肖冰,王映辉.人脸识别研究综述[J】.计算机应用研究,2005,(8):1-5.

【5】张翠平,苏光大.人脸识别技术综述【J】.中国图像图形学报,2000,5(1 1):885—894. 【6】陈绵书,陈贺新,桑爱军.计算机人脸识别技术综述【J】.吉林大学学报(信息科学版),2003,21
(5):101.109.

【7】刘艳丽,赵跃龙.人脸识别技术研究进展[J】.计算机工程,2005,31(3):10-1 1,74. 【8】胡守仁寺申经网络导论[M】.长沙:国防科技大学出版社,1993.

【9】丁永生.计算智能——理论、技术与应用【M】.北京:科学出版社,2004.
【10]周志华,曹存根.神经网络及其应用[M】一匕京:清华大学出版社,2004. 【1

1】董长虹名申经网络与应用【嗍.长沙:国防科技大学出版社,2005.

【12]Simon Haykin.神经网络原理[M】.北京:机械工业出版社,2004. 【13】方宁,李景怡,贺桂明.基于DCT和神经网络的人脸识别【J】.计算机工程,2004,30(16):53-56. [14】Yuehui Jiang,gjith
Abraham.Face Recognition Using DCT and Hybrid Flexible
011

Chen,Shuyan

.Tree[C].In

Proc.of Intemational Conference

Neural Networks and

Brain(ICNN&B),2005

(3):1459-1463.
Turk,Alex Pentland.Eigenfaces for of cognitive Neuroscience,

【1 5】Matthew

Recognition[J].Joumal

3(1):71-86. 【1 6】Hyeonjoon Moon,P
Jonatllon Phillips.Computational and 1.

performance

aspects of PCA?based

face.recognition algorithms[J].Perception,200 1(30):303?32

【17】周涛.基于PCA的人脸识别研究【D】.南京理工大学,2004,6. 【1 8】A.Hyvarinen,E.Oja.Independent Networks,2000(13):41 1-430.
component analysis:algorithms and

applications[J].Neural

47

基于主成分分析和神经树的人脸识别方法研究

11—————I!!!!!!!!,—鼍■!?___??____?—_●-_—●_I—I_-?-——?_————●—?_-?—-I__———__——●一
【19】W.Zhao,R.Chellappa,A.Krishnaswamy.Discriminant recognition[C].In
3rd International Conference
on

analysis of principal components for face Face

Automatic

and

Gesture Recognition,

IEEE Computer Society

Press,Washington,DC,USA,1998.336-341.

【20】陈力,刘文超,陈艳红.一种基于fisher最优判据的人脸识别新方法【J】.汕头大学学报(自然科学 版),2005,20(1):64—67,80. 【21】庞彦伟,刘政凯,俞能海.融合奇异值分解和主分量分析的人脸识别算法【J】.信号处 理,2005,2 1(2):202-205. 【22】卢正鼎,赵萍.一种基于支持向量机的PCA分析方法阴.华中科技大学学报(自然科学 版).2005,33(1):25-27. 【23】Chen Y
Yang B,Dong J.Nonlinear systems modeling via optimal design of neural

trees[J],

International Journal ofNeural systems.2004,14:125-138.

【24】Chen Y Wang Y Yang

B.Evolving Hierarchical of the

RBF Neural Networks for Breasf Cancer
on

Detection[C].In:Proceeding

13th International Conference

Neural Information

Processing(ICONIP’06),HK,China 【25】Chen

2006.1 37?144.

Y,Yang B,Dong J.Time—Series Prediction using a Local Linear

Wavelet

Neural Network,

Neurocomputing[J],2006,69(4/6):449—465. 【26】Kennedy
Neural J.Particle

Swarm Optimization[C].In:Proe.of IEEE International Conference

on

Networks.Piscataway,NJ,USA,1995.1942—1948.

【27】冯素玲.基于小波变换的PCA人脸识别方法研究【D】.山东大学,2004,12. 【28】Kirby M and Sirovich L.Application of the KL procedure for the characterization IEEE Tram.Pattern Anal.Machine Intell.,1990,12(1):103?108.
of human faces.

【29】邓楠.基于主成分分析的人脸识别研究【D】.西北大学,2006,6.
[30】陈远.基于主元分析和神经网络的人脸识别方法研究【D】.武汉大学.2004,5.

【3l】李莉.基于主成分分析的人工神经网络人脸识别方法的研究【D】.中国海洋大学.2004,6.
【32】Andrew J.Calder,A.Mike
Burton,Paul Miller,Andrew

w.Young,Shigeru Akamatsu.A principal

component analysis offacial

expressions[J].Vision Research.2001(41):1179-1208. discriminant

【33】ZHANG Yan?Kun,LIU analysis[J].Journal

Chong-qing.A novel face recognition method based on linear

of Infrared Millim and

Waves.2003,22(5):327—330.

【34]崔丽.用于人脸识别的LDA方法的研究及其应用【D】.吉林大学.2004,4.

济南大学硕士学位论文

【35】孙鑫,刘兵,刘本永.基于分块PCA的人脸识别[J】.计算机工程与应用.2005(27):80?82. 【36】祝磊,朱善安.基于二维广义主成分分析的人脸识别【J】.浙江大学学报(工学版).2007, 41(2):264-267.

【37】李莉.一种基于外观的人脸描述和识别的方法一二维主成分分析法【J】.邢台学院学 报.2005,20(2):107-109. ’【38】赵丽红,孙宇舸,蔡玉,徐心和.基于核主成分分析的人脸识别【J】.东北大学学报(自然科学 版).2006,27(8):847-850. 【39】肖健华.人脸识别中的核方法【J】. 五邑大学学报(自然科学版).2005,19(2):7-12. [40】肖健华.智能模式识别方法【M】.广州:华南理工大学出版社.2006.

【4l】徐春明,乐晓蓉,王正群.一种基于核主成分特征组合的人脸识别方法【J】.计算机工程与应
用.2006(3):76—78,92. 【42】Daniel
L.Swets and John

Trans.on Pattern

Weng,Using Discriminant Eigenfeatures for Image Retrieval[J],IEEE Analysis and Machine Intelligence,1996,(18):831?836.

【43】Hua

Yu,Jie Yang,A direct LDA algorithm for High-Dimensional Data with Application to face

recognition.Pattem Recognition,200 1,34(1 0):2067-2070.

【44】覃志祥,丁立新,简国强,秦前清,李元香.一种改进的线性判别分析法在人脸识别中的应用【J】.计

算机工程,2006,32(4):21 1-213.
【45】Belhumeur
P N,Hespanha J P,Kriegman D J.Eigenfaces VS Fisherfaces:Recognition Using Class

Specific Linear

Projection[J].IEEE


Trans.on Pattern Analysis

and Machine

Intelligence,1997,

19(7):71 1-720.

【46】高秀梅,李淑琴,杨静宇,一种广义的K-L变换与人脸识别【J】,青岛化工学院学报,2003,23
(3)-270-272. 【47】Jian Yang,David
Member,Two—Dimensional PCA:A
New
to

Zhang,Senior

Approach

Appearance-Based Face

Representation and Recognition[J],IEEE Tram.on

Paaern Analysis

and

Machine Intelligence,2004,26(1):13 1?137.

【48】D.Q.Zhang,S.C.Chen,and J.Liu,Representing Eigenvectors[C],Proceedings 05),Chongqing,China,2005,2.659-664. 【49】Liwei Wang,Wang
to line-based

image

matrices:Eigenimages

VS.

of the 2nd International Symposium on Neural


Networks(ISNN’

Xiao,Zhang Xuerong and Feng Jufu The equivalence oftwo—dimensional PCA

PCA[J].Pattern Recognition Leners.2005,26(1):57-60.

49

基于主成分分析和神经树的人脸识别方法研究

【50】Jin

Zhou,Yang Liu,Yuehui Chen,Face Recognition Using Kernel PCA and Hierarchical RBF Conference on Computer Information Systems and Indus仃ial

Network[C],6th International

Management Applications(CISIM‘07),2007,239—244.

【51】乔宇,黄席樾,柴毅,邓金城,陈虹宇.基于加权主元分析(WPCA)的人脸识别【J】.重庆大学学报,

【52]Bai

Li,Yihui

Liu.When

engenfaces


ar e

combined with

wavelets[J].Knowledge-Based

System,

2002(1 5):343-347.

【53】高西奇,周洪祥,何振亚.基于小波变换的主元分析入脸图象识别【J】.东南大学学
报.1996,26(2):137:141. 【54】Hyun?Chul Kim,Daijin
of-eigenfaces Kim and using the mixture-

Sung

Yang

Bang.Face recognition

method[J].PaRem

Recognition

Letters,2002(23):1 549—1 558.

【55】杨琼,丁晓青.对称主分量分析及其在人脸识别中的应用.计算机学报,2003, 26(9):1146—1151. 【56】McCulloch W S,Pitts W.A Logical Calculus Bulletin ofMathematical Biophysics,1943,(5):1
of the Ideas 15-133.

Immanent

in Nervous

Activity[J],

【57】吴鹏.基于语法引导遗传编程的神经树的研究与应用【D】.济南大学,2007,6.

【58】王凌.智能优化算法及其应用[MI.北京:清华大学出版社,2001.
【59】王晓东,计算机算法设计与分析(第2版)【M】.|匕京:电子工业出版社,2004.

【60】徐仲,张凯院,陆全,冷国伟,矩阵论简明教程(第四版)【M】,北京,科学出版社,2004.
【6 1】Ziad M,Martin
d.Face recognition using the discrete

cosine。transform[J].International

Journal of

Computer Vision,200 1,43(3):1 67?1 88.

【62】韩争胜,李映,张艳宁.基于LDA算法的人脸识别方法的比较研究[J】.微电子学与计算机,
2005,22(7):13 1—138. 【63】Chen Y
A.Time-series Forecasting Flexible Neural Tree

Yang B,Dong J,Abraham

using

Model[J].Information
【64】Guodong guo,Stan
Image and Vision

Science,2005,174(3/4):219-235. and
Kap Luk Chart.Support vector machines for face

Z.Li

recognition[J],

Computing.2001,(19):63 1-638.

【65】Thomas

Leonard,John

S.J.Hsu.贝叶斯方法(英文版)【M】.北京:机械工业出版社,2005.

[66】黄席樾,张著洪,何传江,胡小兵,马笑潇.现代智能算法理论及应用【M】.北京:科学出版社.2005.
50

济南大学硕士学位论文

[67】John Shawe-Taylor,Nello Cristianini著.赵玲玲,翁苏明,曾华军译.模式分析的核方法【M】.北 ?京:机械工业出版社.2006. 【68】ORL.The
ORL

face

database

at

the

AT&T

Research

Lahoratory.[DB/OL】

http://www.ci.cam.ac.uk/Research/DTG/attarchive/facedatabase.html,2006-3-6.

【69】Yuehui Chen,Ajith Abraham,Bo Yang.Feature .tree[J].Neurocomputing 2006,(70):305—3
13.

selection and classification using flexible neural

【70】赵明华,游志胜,吕学斌,穆万军.基于ICA和FLD相结合的人脸识别【J】.计算机应用研 究,2005,(8):255—257. 【71】於东军,杨静宇.基于神经网络的人脸特征提取及识别[J】.计算机工程与应用,2002,
11:33-34,47.


【72】SU,H,FENG

D,ZHAO R C.Face Recognition Using the Pan-Sydney Area

Multi-feature and
on

Radial Basis Function

Network[C】.Proceeding of

Workshop

Visual Information Processing

(VIP2002),Sydney,Australia,2002:183?189. 【73】Ming—Hsuan Yang,David J Kriegman.Detecting Faces in Images:A Survey[J].IEEE Tram. Pattern Analysis and Machine Intelligence,2002,24(1):34-58.


【74】Nicholas

Roeder

and

Xiaobo

Li.Accuracy

analysis for facial

feature

detection[J].Pattern

Recognition,1996,29(1):143-157.

51

基于主成分分析和神经树的人脸识别方法研究

攻读硕士期间发表论文目录
【1】刘振,吴鹏,陈月辉.基于PCA和神经网络的人脸识别[J】.山东科学,2006,19(4):63—67. 【2】刘振,陈月辉,吴鹏.基于PCA和灵活神经树的人脸识别【J】济南大学学报(自然科学版),2007
年12月.(已录用)

【3】吴鹏,刘振,陈月辉.基于神经树的时间序列预测【J】.山东科学,2007,2(1):59.64.
【4】4吴鹏,刘振,陈月辉.基于SGGP和PSO算法的新型神经树.计算机应用研究阴,2007年12 月.(已录用) 【5】5 Qiang wu,Yuehui (Accepted)
Chen,Zhen Liu.Ensemble model of Intelligent Paradigms for Stock
on

Market

Forecasting[C].International Workshop

Knowledge Discovery and Data Mining(WKDD 2008).

52


赞助商链接
相关文章:
更多相关标签: