当前位置:首页 >> 工学 >>

模式识别学习论文


人工神经网络几种算法的学习和总结
学号:120070707 姓名:王子鉴 学号: 姓名:
人工神经网络就是科学家和工程师尝试模拟生物学上的神经元体系结构及其操作。任何 一个人工神经网络模型要实现某种功能的操作, 就必须对它进行训练, 让它学会要做的事情, 并把这些知识记忆(存储)在网络的加权中。所以研究者需要对神经网络进行必须的训练, 对系统的训练通常是指调整网络加权的操作动作和过程, 利用计算机实现时需要有程序算法 进行支撑进行模拟, 在神经网络的研究早期有很多著名的科学家和工程师开发了一些经典算 法,如 Hebb 算法,σ训练算法等,在神经网络的发展进程中,人们仍一直在以生物学习训 练的模式作为目标,继续探索新的算法。 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法 的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算法相应的。所 以, 有时人们并不去祈求对模型和算法进行严格的定义或区分。 有的模型可以有多种算法. 而 有的算法可能可用于多种模型。不过,有时人们也称算法为模型。自从 40 年代 Hebb 提出 的学习规则以来,人们相继提出了各种各样的学习算法。其中以在 1986 年 Rumelhart 等提 出的误差反向传播法,即 BP(error BackPropagation)法影响最为广泛。直到今天,BP 算法仍 然是自动控制上最重要、应用最多的有效算法。 BP 算法: BP 算法是用于前馈多层网络的学习算法,前馈多层网络的结构一般如下图所示:

它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层,由于 它们和外界没有直接的联系,故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外 界不连接.但是,它们的状态则影响输入输出之间的关系。这也是说,改变隐层的权系数, 可以改变整个多层神经网络的性能。设有一个 m 层的神经网络,并在输入层加有样本 X;设 k k 第 k 层的 i 神经元的输入总和表示为 Ui , 输出 Xi ; 从第 k—1 层的第 j 个神经元到第 k 层的 第 i 个神经元的权系数为 Wij 各个神经元的激发函数为 f,则各个变量的关系可用下面有关 数学式表示: Xik=f(Uik)

反向传播算法分二步进行,即正向传播和反向传播。这两个过程的工作简述如下。 1. 正向传播 输入的样本从输入层经过隐单元一层一层进行处理, 通过所有的隐层之后,

则传向输出层; 在逐层处理的过程中, 每一层神经元的状态只对下一层神经元的状态产生影 响。在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出,则进入反向 传播过程。 2.反向传播 反向传播时,把误差信号按原来正向传播的通路反向传回,并对每个隐层 的各个神经元的权系数进行修改,以望误差信号趋向最小。 BP 算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方 法,按误差函数的负梯度方向修改权系数。 在反向传播算法应用于前馈多层网络时, 采用 Sigmoid 为激发面数时, 可用下列步骤对 网络的权系数 Wij 进行递归求取。注意对于每层有 n 个神经元的时候,即有 i=1,2,…,n; j=1,2,…,n。对于第 k 层的第 i 个神经元,则有 n 个权系数 Wi1,Wi2,…,Win,另外取 多—个 Win+1 用于表示阀值θi;并且在输入样本 X 时,取 x=(X1,X2,…,Xn,1)。算法的执 行的步骤如下: 1.对权系数 Wij 置初值。对各层的权系数 Wij 置一个较小的非零随机数,但其中 Wi,n+1=θ。 2.输入一个样本 X=(xl,x2,…,xn,1),以及对应期望输出 Y=(Y1,Y2,…,Yn)。 k 3.计算各层的输出 对于第 k 层第 i 个神经元的输出 Xi ,有:

Xi =f(Ui ) k m m m m 4.求各层的学习误差 di ,对于输出层有 k=m,有 di =Xi (1-Xi )(Xi -Yi),对于其他各层, 有:

k

k

5.修正权系数 Wij 和阀值θ时有:

其中:

6.当求出了各层各个权系数之后,可按给定品质指标判别是否满足要求。如果满足要求, 则算法结束;如果未满足要求,则返回(3)执行。 这个学习过程,对于任一给定的样本 Xp =(Xp1,Xp2,…Xpn,1)和期望输出 Yp=(Yp1,Yp2,…,Ypn)都要执行,直到满足所有输入输出 要求为止。 Hopfield 模型: Hopfield 神经网络模型是一种循环神经网络,从输出到输入有反馈连接。Hopfield 网络 有离散型和连续型两种。反馈神经网络由于其输出端有反馈到其输入端;所以,Hopfield 网络在输入的激励下,会产生不断的状态变化。当有输入之后,可以求取出 Hopfield 的输 出,这个输出反馈到输入从而产生新的输出,这个反馈过程一直进行下去。如果 Hopfield 网络是一个能收敛的稳定网络, 则这个反馈与迭代的计算过程所产生的变化越来越小, 一旦 到达了稳定平衡状态;那么 Hopfield 网络就会输出一个稳定的恒值。对于一个 Hopfield

网络来说,关键是在于确定它在稳定条件下的权系数。应该指出:反馈网络有稳定的,也有 不稳定的。对于 Hopfield 网络来说,还存在如何判别它是稳定网络,亦或是不稳定的问题; 而判别依据是什么,也是需要确定的。 Hopfield 最早提出的网络是二值神经网络,神经元的输出只取 1 和 0 这两个值,所以, 也称离散 Hopfield 神经网络。在离散 HopfieId 网络中,所采用的神经元是二值神经元;故 而, 所输出的离散值 1 和 0 分别表示神经元处于激活和抑制状态。 首先考虑由三个神经元组 成的离散 Hopfield 神经网络,其结构如图中所示。在图中,第 0 层仅仅是作为网络的输人, 它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输人信息和权系 数乘积求累加和,并由非线性函数 f 处理后产生输出信息。f 是一个简单的阀值函效,如果 神经元的输出信息大于阀值θ,那么,神经元的输出就取值为 1;小于阀值θ,则神经元的 输出就取值为θ。

对于二值神经元,它的计算公式如下:

其中:xi 为外部输入。并且有: Yi=1,当 Ui≥θi 时 Yi=0,当 Ui<θi 时 对于一个离散的 Hopfield 网络, 其网络状态是输出神经元信息的集合。 对于一个输出层 是 n 个神经元的网络,则其 t 时刻的状态为一个 n 维向量: ... T Y(t)=[Y1(t),Y2(t), ,Yn(t)] n 因为 Yj(t)(j=1……n)可以取值为 1 或 0; n 维向量 Y(t) 故 故而, 网络状态有 2 个状态; n 有 2 种状态,即是网络状态。对于三个神经元的离散 Hopfield 网络,它的输出层就是三位 二进制数;每一个三位二进制数就是一种网络状态,从而共有 8 个网络状态。这些网络状态 如图中所示。在图中,立方体的每一个顶角表示一种网络状态。同理,对于 n 个神经元的输 n 出层,它有 2 个网络状态,也和一个 n 维超立方体的顶角相对应。

如果 Hopfield 网络是一个稳定网络, 那么在网络的输入端加入一个输入向量, 则网络的 状态会产生变化, 也就是从超立方体的一个顶角转移向另一个顶角, 并且最终稳定于一个特 定的顶角。 对于一个由 n 个神经元组成的离散 Hopfield 网络,则有 n*n 权系数矩阵 w: ... ... W={Wij} i=1,2, ,n j=1,2, ,n 同时,有 n 维阀值向量θ: ... T θ=[θ1,θ2, θn] 一船而言,w 和θ可以确定一个唯一的离散 Hopfield 网络。对于图 1—13 所示的三神经 元组成的 Hopfield 网络,也可以改用图 1—15 所示的图形表示,这两个图形的意义是一样 的。考虑离散 Hopfield 网络的一船节点状态;用 Yj(t)表示第 j 个神经元,即节点 j 在时刻 t 的状态,则节点的下一个时刻(t+1)的状态可以求出如下:

当 Wij 在 i=j 时等于 0,则说明一个神经元的输出并不会反馈到它自己的输入;这时, 离教的 HopfieId 网络称为无自反馈网络。当 Wij 在 i=j 时不等于 0,则说明—个神经元的 输出会反馈到它自己的输入;这时,离散的 Hopfield 网络称为有自反馈的网络。

对于一个网络来说,稳定性是一个重大的性能指标。 对于离散 Hopfield 网络,其状态为 Y(t): ... T Y(t)=[Y1(t),Y2(t), ,Yn(t)] 如果,对于任何△t>0.当神经网络从 t=0 开始,有初始状态 Y(0);经过有限时刻 t, 有: Y(t+△t)=Y(t) 则称网络是稳定的。 在串行方式下的稳定性称之为串行稳定性。同理,在并行方式的稳定性称之为并行稳定 性。在神经网络稳定时,其状态称稳定状态。 从离散的 Hopfield 网络可以看出:它是一种多输入,含有阀值的二值非线性动力系统。 在动力系统中, 平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中, 其 能量值不断减小,最后处于最小值。 对 Hopfield 网络引入一个 Lyapunov 函数,即所谓能量函数:

神经元 j 的能量变化量表示为△Ej:

考虑如下两种情况: 1.如果 Uj≥θj,即神经元 j 的输入结果的值大于阀值,则 Uj-θj≥0,则从二值神经元 的计算公式知道:Yj 的值保持为 1,或者从 0 变到 1。这说明 Yj 的变化△Yj 只能是 0 或正值。 这时很明显有△Ej: △Ej≤0 这说明 Hopfield 网络神经元的能量减少或不变。 2.如果 Uj≤θj,即神经元 j 的输入结果的值小于阀值,则 Uj-θj≥0,则从二值神经元 的计算公式可知:Yj 的值保持为 0,或者从 1 变到 0。这说明 Yj 的变化△Yj 只能是零或负位。 这时则有△Ej: △Ej≤0 这也说明 Hopfield 网络神经元的能量减少。 上面两点说明了 Hopfield 网络在权系数矩阵 W 的对角线元素为 0,而且 W 矩阵元素对称 时,Hopfield 网络是稳定的。 Coben 和 Grossberg 在 1983 年给出了关于 Hopfield 网络稳定的充分条件,他们指出: 如果 Hopfield 网络的权系数矩阵 w 是一个对称矩阵,并且,对角线元素为 0.则这个网 络是稳定的。即是说在权系数矩阵 W 中,如果 i=j 时,Wij=0 i≠j 时,Wij=Wji 则 Hopfield 网络是稳定的。 应该指出:这只是 Hopfield 网络稳定的充分条件.而不是必要条件。在实际中有很多稳 定的 Hopfield 网络,但是它们并不满足权系数矩阵 w 是对称矩阵这一条件。 上面的分析可知: 无自反馈的权系数对称 Hopfield 网络是稳定的网络。它如图所示。

Hopfield 网络的一个功能是可用于联想记忆,也即是联想存储器。这是人类的智能特点 之一。 人类的所谓“触景生情”就是见到一些类同过去接触的景物, 容易产生对过去情景的 回昧和思忆。对于 Hopfield 网络,用它作联想记忆时,首先通过一个学习训练过程确定网

络中的权系数, 使所记忆的信息在网络的 n 维超立方体的某一个顶角的能量最小。 当网络的 权系数确定之后,只要向网络给出输入向量,这个向量可能是局部数据.即不完全或部分不 正确的数据,但是网络仍然产生所记忆的信息的完整输出。1984 年 Hopfield 开发了一种用 n 维 Hopfield 网络作联想存储器的结构。在这个网络中,权系数的赋值规则为存储向量的 外积存储规则(out product storage prescription),其原理如下: 设有 m 个样本存储向量 x1,x2,…,xm X1={X11,X21,...,Xm1} X2={X12,X22,...,Xm2}
......

Xm={Xm1,Xm2,...,Xmm} 把这 m 个样本向量存储人 Hopfield 网络中,则在网络中第 i,j 两个节点之间权系数的 值为:

其中:k 为样本向量 Xk 的下标,k=1,2,…m; i,j 分别是样本向量 Xk 的第 i,j 分量 Xi,Xj 的下标;i,j=1,2,…n。 对联想存储器的联想检索过程如下: 给定一个向量 X。进行联想检索求取在网络中的存储内容。这时,把向量 X={X1,X2,...Xn} 的各个分量 x1,x2,…,xn 赋于相对应的节点 j,(j=1,2,…,n),则节点有相应的初 始状态 Yj(0),则有 Yj(0)=Xj,j=1,2,…,n 接着,在 Hopfield 网络中按动力学系统原则进行计算,得 Yj(t+1)=f[ΣWijYj(0)-θj] , i,j=1,2,…,n 其中,f[·]是非线性函数,可取阶跃函数。 通过状态不断变化,最后状态会稳定下来.最终的状态是和给定向量 x 最接近的样本向 量。所以,Hopfield 网络的最终输出也就是给定向量联想检索结果。这个过程说明,即使 给定向量并不完全或部分不正确,也能找到正确的结果。在本质上,它也有滤波功能。


赞助商链接
相关文章:
模式识别及最小均方误差算法论文
模式识别及最小均方误差算法论文 - 目录 摘要......
人工智能课程论文
2 模式识别 模式识别就是通过计算机用数学技术方法来研究模式的自动处理和判读。...AI课程论文——强化学习 3页 3下载券 喜欢此文档的还喜欢 人工智能论文——关于...
绝缘局部放电的模式识别研究毕业论文
绝缘局部放电的模式识别研究毕业论文 - 绝缘局部放电的模式识别研究 毕业设计(论文)原创性声明和使用授权说明 原创性声明 本人郑重承诺:所呈交的毕业设计(论文) ,...
更多相关标签: