模式识别 西安交通大学
4
1.5 基于 BP 神经网络法和 k-近邻法的综合决策分类
k-近邻法分类是选择测试样本与样本空间最近的k个样本的类别而决策分类
的;而BP神经网络法本质上是根据输入输出关系通过学习而确定一个非线性空间
映射关系,在此映射关系下对于每个输入得到一个输出,此输出根据网络输出的
定义而确定类别。因此考虑将两种方法综合起来进行决策分类。
实际的实验过程中,k-近邻法得到的结果稳定,而BP网络法是一种次优算法,
需要根据经验确定隐层数目、训练算法。当网络比较小时尚可通过不断的实验得
到一个较好的结果,而当如本实验的网络,其输入层节点p=71,输出层节点c=40,
隐层节点数至少要几十上百个才能得到比较好的结果,因此不适合用试凑法;而
直接根据经验公式并不能得到满意的网络,有时网络的识别率甚至不及k-近邻分
类法的识别率。经过分析BP网络法得到的输出结果我们发现,当输出向量
满
足
时,分类正确无误;而
时,分类会出现错误。我
们对出现
的所有样本使用k-近邻算法辅助分类,综合得到的结果
为最终分类的结果。经实验,该方法分类正确率高于单一的k-近邻法和BP网络法,
且结果比较稳定。
2 算法流程
根据上述实验原理分析,该算法流程如下:
(1) 读入人脸库
每个人取前5张作为训练样本,后5张为测试样本,共40人,则训练样本和
测试样本数分别
为。人脸图像为92×112维,按列相连就构成
N=10304维矢量
,
可视为N维空间中的一个点。
(2) 构造平均脸和偏差矩阵
平均脸
偏差矩阵
1
( )( )
N
TT
r j i
j
S x u x u AA
,
(3) 计算通过K-L变换的特征脸子空间
为 10304×200 矩阵,其自相关矩阵
,计算得到矩阵的特征值
,对应于
的特征向量为
,为。对特征值按大小降序排列,依照公式