当前位置:首页 >> 信息与通信 >>

一种基于核主成分分析的人脸识别方法


河北科技师范学院学报   22 卷第 3 期 , 2008 年 9 月 第 Journal of Hebei Normal University of Science & Technology Vol 22 No. 3 Sep tember 2008 .

一种基于核主成分分析的人脸识别方法
杨    绍 华
(宁夏大学 数学计算机学院 ,宁夏 银川 , 750021)

摘要 : 针对主成分分析 ( PCA )算法中存在不能提取非线性特征的问题 ,提出了利用 KPCA 提取图像特征 ,最 近邻法分类的人脸识别改进方法 。基于 ORL 数据库的相关实验表明 ,这样的系统能够取得比传统 PCA 更好 的识别性能 。 关键词 : 人脸识别方法 ; 核主成分分析 ; 主成分分析 中图分类号 : TP391     文献标志码 : A     文章编号 : 1672 2 7983 ( 2008 ) 03 2 0045 2 04
[ 7, 8 ]

人脸识别是模式识别领域一个重要的研究方向 ,与指纹 、 、 语言 虹膜等其他人体生物特征相比 ,人脸 识别更加直接 、 友好 ,在身份识别 、 安检监控 、 视频会议领域具有广阔的应用前景 。主成分分析 ( Princi2 [ 1, 2 ] pal Component Analysis) 是人脸图像识别中经典的线性特征提取方法 ,其通过对原始样本的协方差 矩阵进行分解 ,选取前面 R 最大特征值所对应的特征向量组成最优投影矩阵 ,通过将样本数据在最优 投影矩阵上投影 ,将其映射到主成分空间中 ,达到数据压缩和去除样本之间相关性的目的 。目前 , 这种 [ 3 ~5 ] 方法仍广泛应用于人脸识别等模式识别问题中 。 然而 , PCA 算法是一种线性方法 ,它无法揭示出人脸图像中的非线性特征 。 PCA 从特征最大的角 度而不是最优角度出发进行特征提取 ,因而这些非线性特征对识别可能也是有益的 。此外 ,线性方法只 能处理具有属性值的数据 ,在很多应用中可能不知道数据的属性值 , 而只知道相互关系 (相似或不相 [6] 似 ) ,线性方法无法直接应用于这样的场合 。针对上述特点 ,笔者在人脸特征提取过程中首先通过核 函数映射 ,将原始样本映射到核函数空间中 , 利用 KPCA 方法 提取特征 , 最后最近邻法作为分类器 进行分类识别 。在 ORL 和 YALE 数据库上的相关实验表明 ,该方法较传统 PCA 有着更好的识别性能 。

1  PCA 提取特征的原理

n T 设 xi ∈R ( i = 1, 2, …, m ) 是 M 个 n 维的观测样本 , X = ( x1 , x2 , …, xM ) 为观测样本矩阵 , 其总体样

本的均值为 :

μ=

1

M

i=1

∑ xi

M

( 1)

在此用 ( xi - μ) 表示样本均值 , 这里的讨论是以样本的零均值情况进行的 。样本集的协方差矩阵定
C x = E [ ( xi - μ) ( xi - μ) ]
T

义为 :

1

M

T ∑ [ ( xi - μ) ( xi - μ) ]

( 2)

因为 C x 是实对称的 , 找到一组 r个标准正交特征向量总是可能的 。令 λi , i = 1, 2, …, r表示 C x 的 r λ λ 个非零特征根 , 且按照顺序 λ1 ≥ 2 ≥… r 排列 , 这些特征值相对应的特征向量为 ui , i = 1, 2, …, r, 构成 一个 n ×r矩阵 ( 3) U = [ u1 , u2 , …, ur ] 那么 , 对任何一个观测样本 x ∈R 来讲 , 基于投影矩阵 U 的投影系数是 T y =U x
n

( 4)

基金项目 :宁夏大学自然科学基金资助项目 (项目编号 : ZR200716 ) 。 收稿日期 : 2008 2 2 ; 修改稿收到日期 : 2008 2 2 06 03 07 16

? 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.

http://www.cnki.net

46

河北科技师范学院学报                   22 卷  

2  基于核方法的特征提取
许多利用机器学习的数据分析任务中 , 都需要对数据进行合适的表示或描述 。一个有效的数据表 示能够使数据的内在结构更清晰 、 减少数据的维数 , 以利于进一步计算 。 KPCA (核主成分分析 ) 的基本 思想是通过一个非线性映射 , 把输入数据映射到一个高维的特征空间 , 在特征空间上进行线性主成分分 [7 ] 析 。设输入数据 Xk 被映射为 φ ( Xk ) , 假设它们已经被中心化即满足如下条件 :
k =1

φ ∑ ( Xk ) = 0

N

( 5)

其中 , Xk 是 N 维输入训练样本 ,φ ( Xk ) 是变换后的训练样本 。映射后训练样本的协方差矩阵 C 为 : 1 N T φ ( 6) C = ∑ ( X j )φ ( X j )
N
j=1

求解该协方差的特征方程 : λV = CV ( 7) φ φ 根据再生核理论 , 特征向量 V 一定位于由 φ ( X1 ) … ( XN ) 长成的空间内 , 即 V 可以由 φ ( X1 ) … ( XN ) 的线性组合表示 : αi V = ∑ φ ( Xi )
i=1 N

( 8)

其中 α , …,α 为常数 。定义一个 N × 的矩阵 K, N 1 N
Kij =φ ( X i ) φ ( X i )
T

( 9) ( 10 )

K称为核矩阵 , 将公式 ( 6 ) , ( 8 ) , ( 9 ) 代入 ( 7 ) 式得 :

α α K = Nλ

这样 , 求解式 ( 7 ) 的特征向量 V 的问题就转换为求解 ( 10 ) 式中特征向量 α 。由式 ( 9 ) 得知 , 核矩阵 K是对称的 、 半正定方阵 , 其具有非负的特征向量 。通过求解特征方程 ( 10 ) 得到一组非零特征值 λj 以 及对应满足归一化条件 j j (α ,α ) = 1 ( 11 ) j ) 的特征向量 α ( j = 1, …, N ′ ( N ′ N ) 。根据 ( 8 ) 式得到特征空间上的投影主分量 V j ( j = 1, …, N ) , 设 X ≤ 是测试样本 , 那么 X 在投影主分量 V j ( j = 1, …, N ) 上的投影为 :
( V j ) < ( X ) = ∑ai < ( X i ) < ( X ) = ∑ai K ( X i , X )
j=1 j=1 f d

T

N

j

T

N

j

( 12 )

于是将 R 空间的 PCA 问题转换为 R 空间的内积问题 , 在求解过程中只要知道 K ( X i , X ) 的表达式 即可 , K ( X i , X ) 称为核函数 , 核函数的选择必须满足 M ercy定理 , 常用的核函数有
( 1 ) 线性函数  K ( X i , X ) = < X, X i > ( 2 ) 二次核函数  K ( X i , X ) = < X ?X > ( < X ?X i > + 1 ) ( 4 ) Sigmoid 核函数  K ( X i , X ) = tanh [ v ( X ?X i ) + c ]

f

( 3 ) 多项式核函数  K ( Xi , X ) = [ < X ?Xi > + c ] , d = 1, 2, …,当 d = 1, c = 0时该函数为线性核函数。 ( 5 ) 高斯径向基函数  K ( X i , X ) = exp ( - q‖X - X i ‖ )
2

3  计算机仿真算法描述与实验结果
3. 1   实验参数描述
T M

本次实验是在 Intel Core Duo Processor T5500 1. 66,内存 512 M , W indow s xp sp2 机器上利用 M at2 lab 7. 0 编程实现的 。使用 ORL 人脸数据库作为实 验数据集 。ORL 数据库有 40 个人的人脸图像 , 每人 有 10 幅 112 × 像素的脸部图像 , 256 级灰度 。其 92

图 1  ORL 人脸库部分图像

? 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.

http://www.cnki.net

 3 期              杨绍华   一种基于核主成分分析的人脸识别方法

47

中人的脸部表情和脸部细节有着不同程度的变化 ,如笑或不笑 ,眼睛睁或闭 ,戴或不戴眼镜等 ; 人脸姿态 也有相当程度的变化 ,深度旋转和平面旋转可达 20 ° 1 是 ORL 人脸库的部分图像 。 ;图
3. 2   算法描述

核函数方法首先采用非线性映射将原始数据由数据空间映射到特征空间 ,进而在特征空间进行相 应的线性变换 ,由于运用了非线性映射 ,且这种非线性映射往往是非常复杂的从而大大增加了非线性数 据的处理能力 ,在实际应用中核函数的选择及相关参数的确定是问题的关键和难点所在 ,本次研究选择 的是常用的多项式核函数 ,算法如图 3 所示 。

图 2  基于核主成分分析的算法框图

训练阶段 : 读入训练样本图像 ,构建人脸图像数据库 ,然后选择多项式核函数进行训练样本到核函数空间的映 射 ,然后在核空间中实施 PCA 方法 ,这样就将线性空间中的非线性问题转换为非线性空间中的线性问 题来进行处理 。选择合适的主成分分量维数构建核空间中的最优投影矩阵 ; 训练样本在该投影矩阵上 进行映射 ,获得训练样本的特征系数 。 测试阶段 : 读入测试样本图像 ,并在训练阶段产生的核空间最优投影矩阵上进行映射 ,获得测试样本的特征系数。 分类阶段 : 选择最近邻分类器进行分类 ,最近邻分类器的原理是通过计算测试样本特征系数到每个训练样本 特征系数的距离 ,确定离测试样本最近的那个样本的类别为测试样本的类别 。其中 ,度量距离选用的是 欧氏距离 。
3. 3   实验与实验结果

实验 1   多项式阶数 d 的变化对识别率的影响 。 多项式核函数 K ( X i , X ) = [ X ?X i > + c ] , d = 1, 2, … 〈 中取多项式偏差 c = 1, 需要调整的参数是多 项式阶数 d。实验 1 比较了多项式阶数分别取 1 到 7 时 , ORL 人脸数据库上识别性能的变化 。其中每 类人脸选取前 5 个作为训练样本 ,剩下 5 个作为测试样本 。为了观察多项式阶数变化对识别性能的影 响 ,主分量维数固定取值为 32,表 1 给出了实验结果 。
表 1  ORL 数据库上不同多项式阶数下识别性能 多项式阶数 d
1 2 3 4 5 6 7
d

训练时间 / s
8. 52 8. 44 8. 50 8. 55 8. 58 8. 61 8. 55

错误数
15 15 16 17 18 19 24

正确数
185 185 184 183 182 181 176

识别率 / %
92. 50 92. 50 92. 00 91. 50 91. 00 90. 50 88. 00

测试时间 / s
4. 72 4. 72 4. 70 4. 70 4. 72 4. 75 4. 72

? 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.

http://www.cnki.net

48

河北科技师范学院学报                   22 卷  

实验 2   主分量维数的变化对识别性能和识别时间的影响 。 KPCA 实际上是 PCA 的一种改进算法 ,即在核映射空间中实施 PCA 方法 。因此 , KPCA 算法中选择 不同的主分量数对人脸特征的贡献也是不同的 。图 3 给出了主分量数变化过程中 , KPCA 算法和 PCA 算法识别性能的变化比较 ; 图 4 给出了主分量数变化过程中 , KPCA 算法和 PCA 算法识别时间的变化比 较 。实验中取每类人脸前 5 副图像进行训练 ,剩下的 5 副进行测试 , KPCA 中多项式阶数 d = 2。 表 1 结果表明 ,随着多项式阶数的增加 ,识别率并没有明显增加 ,反而随着多项式阶数的增加有所 下降 。其中算法在多项式阶数为 1 (线性情况 ) 和多项式阶数为 2 和 3 (非线性情况 ) 时的识别性能最 好 。这是因为通过核空间的映射后实施 PCA 方法 , 能够获得更多有益于样本进行分类的非线性特征 , 所以识别率较高 。但随着多项式阶数的增加 ,映射过程变得更为复杂 ,然而复杂的核函数映射并没带来 更多有利于人类的非线性特征 ,反而带来了干扰 KNN 正确分类的因素 ,当多项式阶数大于 6 时这种不 利更为明显 。 图 3 结果显示 ,随着主分量数的增加识别率呈明显增加趋势 。因为排列在前面的主分量对原始人 脸图像的表征意义最大 ,所以当主分量数从 1 到 10 的变化过程中 ,算法的识别率变化明显 。但当主分 量数达到一定的数量后 ,其对人脸正确分类的贡献就不再明显 ,这样在具体的识别问题中只需取前面个 别的主分量数就能很好的表征人脸 ,起到很好的数据降维目的 。同时也注意到由于 KPCA 能够提取到 有益于人脸正确分类的非线性特征 ,因此有着比 PCA 更好的识别性能 。图 4 结果表明 , PCA 方法中随 着主分量的增加 ,识别时间呈较明显的上升趋势 , KPCA 算法中即使核映射过程增加了系统的开销 , 但 还是表现出了较 PCA 更好的识别效率 ,在人脸识别这类实时性和准确性要求较高的应用中具有更好的 实用价值 。

图 3  主分量数对识别性能的影响        4   图 主分量数对识别时间的影响

笔者通过分析 PCA 中存在不能提取图像中非线性特征的问题 , 提出利用 KPCA 进行特征提取 (即 通过核函数方法将原始样本空间映射到核空间中实施线性 PCA ) , 最近邻法进行分类的人脸识别方法 , 在 ORL 人脸数据库上表现出较传统 PCA 更好的识别性能 , 同时也注意到实验中相关参数的调整是通 过实验来获得的 。另外 ,虽然 KPCA 方法的识别效率较传统 PCA 更好 ,但随着训练样本的增加核函数 映射过程会带来更大的系统开销 ,降低识别的效率 ,如何自适应的选择参数和有效降低数据维数提高识 别效率是进一步要研究的问题 。 参考文献 :
[ 1 ]  TURK M , PENTLAND A. Eigenfaces for Recognition[ J ]. Journal of Cognitive Neuroscience, 1991, 3 ( 1 ) : 71 2 86. [ 2 ]  PETER N B , JOAO P H , DAV I J K Eigenfaces vs Fisherfaces: Recognition using class specific linear p rojection [ J ]. D . [3]  杨健 ,杨静宇 . 具有统计不相关性的图像投影鉴别分析及人脸识别 [ J ]. 计算机研究与发展 , 2003, 40 ( 3 ) : 447 2 452. IEEE Trans on Pattern Anal M achine Intell, 1997, 19 (7) : 711 2 720.

(下转至第 62 页 )

? 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.

http://www.cnki.net

62

河北科技师范学院学报                   22 卷  

[8]  王汝成 . 园林规划设计 [M ]. 北京 : 中国建筑工业出版社 , 1999. [9]  赵宁 ,李兵营 . 孟家滩花园居住小区规划设计 [ J ]. 青岛理工大学学报 , 2007, 28 ( 1 ) : 43 2 47.

作者简介 : 母传伟 ( 1970 2) ,男 ,高级工程师 、 注册城市规划师 。主要研究方向 : 城市规划 、 总图运输 、 景 观设计 。 (责任编辑 : 朱宝昌 )
Bu ild in g Harm on ious Ne ighborhood Env ironm en t of peop le, building and environment” w ith an aim to build harmonious and warm neighborhood environm ent , . Key words: har mony; Shijijiayuan; overall layout; landscape design (上接第 48 页 )

作者简介 : 杨绍华 ( 1978 2) ,男 ,讲师 ,硕士 。主要研究方向 : 模式识别 ,图形图像处理与多媒体技术 。 (责任编辑 : 朱宝昌 )
( School of M athematics and Computer Science, N ingxia University, Yin chuan N ingxia, 750021, China ) ods . Key words: face recognition; kernel PCA; PCA
? 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.

ment based on ORL 2 Database showed that this method could get better performance than traditional PCA meth2
http://www.cnki.net

Abstract: The paper discusses the p lanning concep t of Q inhuangdao Shijijiayuan based on the p ractice of o2 Abstract: To solve the p roblem s that Principal Component Analysis ( PCA ) can not extract nonlinear charac2 ter, this paper p resents an i age recognition m ethod. This m ethod m akes use of Kernel2PCA to extract the fea2 m ture information of im ages and the NN ( Nearest Neighbor) is selected to recognize the character The experi2 . verall layout, architectural design, and landscape design. This concep t emphasizes“harmonious co 2existence
[ 4 ]  YANG J, ZHANG D , YANG J Y Two 2di ensional PCA: A new App roach to Appearance 2based Face Rep resentation and . m [5]  陈伏兵 ,陈秀宏 ,张生亮 ,等 . 模块二维主成分分析 —— — 人脸识别新方法 [ J ]. 计算机工程 , 2006, 32 ( 14 ) : 179 2 180, 183. ral computer, 1998 ( 10 ) : 1 299 2 319. 1
? ? ? ?

[ 6 ]  ZHANG D Q , CHEN S C, ZHOU Z H. Non2negative matrix factorization on kernels[ C ] / / Proceedings of the 9 th pacific rim ral Networks, 2001, 12 ( 2 ) : 181 2 201. international conference on artificial intelligence ( PR ICA I’ 6) , Guilin China: LNA I 4099, 2006: 404 2 0 412.
? ?

[ 7 ]  SCHO LKOPF B , S MOLA A , ROBERTMULLER K Nonlinear component analysis as a kernel eigenvalue p roblem [ J ]. Neu2 . [ 8 ]   LLER K R ,M IKA S, R TSCH G, et al An Introduction to Kernel2 MU A . Based Learning A lgorithm s[ J ]. IEEE Trans on Neu2

Recognition[ J ]. IEEE Trans on Pattern Anal M achine Intell, 2004, 26 ( 1 ) : 131 2 137.

——Q in huangdao Sh ijijia yuan Ne ighborhood Plann in g Concept — 1 2 MU Chun 2 wei , ZHANG L i2ju ( 1 Cap ital Engineering & Research Incorporation (Q inhuangdao ) Co. L im ited, Planning Centre, 2 A rchitectural Design Centre, Q inhuangdao Hebei, 066001, China )
A Face Recogn ition M ethod Ba sed On Kernel2PCA YANG Shao 2hua


赞助商链接
相关文章:
更多相关标签: