《模式识别与物联网.ppt》由会员分享，可在线阅读，更多相关《模式识别与物联网.ppt（33页珍藏版）》请在第壹文秘上搜索。
1、人工神经网络及其用于分类 目录1.神经网络概念及优点2.神经网络数学模型3.神经网络分类4.神经网络的学习系统5.介绍神经网络分类和传统分类器6.神经网络的学习和泛化7.特征变量选择8.误分类代价什么是人工神经网络？什么是人工神经网络？国际著名的神经网络研究专家，第一家神经计算机公司的创国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人立者与领导人Hecht Nielsen给人工神经网络下的定义就给人工神经网络下的定义就是：是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入状态进行信息处理。系统
2、，它通过对连续或断续的输入状态进行信息处理。” 人工神经网络有什么优点？人工神经网络有什么优点？(1)可以充分逼近任意复杂的非线性关系；可以充分逼近任意复杂的非线性关系； (2)所有定量或定性的信息都等势分布贮存于网络内的各神经所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；元，故有很强的鲁棒性和容错性； (3)采用并行分布处理方法，可以进行快速大量的运算；采用并行分布处理方法，可以进行快速大量的运算； (4)可学习和自适应不知道或不确定的系统；可学习和自适应不知道或不确定的系统； (5)能够同时处理定量、定性知识。能够同时处理定量、定性知识。 优点表现？优点表
3、现？第一，具有自学习功能，预期未来第一，具有自学习功能，预期未来 。第二，具有联想存储功能。第二，具有联想存储功能。 第三，具有高速寻找优化解的能力第三，具有高速寻找优化解的能力。神经网络数学模型神经网络数学模型X1，X2，Xn是神经元的输入，即是来自前级是神经元的输入，即是来自前级n个神个神经元的轴突的信息经元的轴突的信息A是是i神经元的阎值；神经元的阎值；Wi1，Wi2，Win分别是分别是i神经元对神经元对X1，X2，Xn的权系数，的权系数，Yi是是i神经元的输出；神经元的输出；f是激发函数，它决定是激发函数，它决定i神经元受到输人神经元受到输人X1，X2，Xn的共同刺激达到阀值时以何种方
4、式输的共同刺激达到阀值时以何种方式输出。出。 激发函数激发函数f有多种形式，其中最常见的有阶跃型、线性型有多种形式，其中最常见的有阶跃型、线性型和和S型三种形式：型三种形式：阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神阶跃型激发函数，它的输出是电位脉冲，这种激发函数的神经元称离散输出模型。经元称离散输出模型。 线性激发函数，它的输出是随输入的激发总量成正比的；这线性激发函数，它的输出是随输入的激发总量成正比的；这种神经元称线性连续型模型。种神经元称线性连续型模型。s型激发函数，它的输出是非线性的；这种神经元称非线性型激发函数，它的输出是非线性的；这种神经元称非线性连续型模型连续型模型。
5、 在人们提出的几十种神经网络模型中，人们较多用的是在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、网络、BP网络、网络、Kohonen网络和网络和ART(自适应共自适应共振理论振理论)网络。网络。 uHopfield网络是最典型的反馈网络模型，它由相同的神经网络是最典型的反馈网络模型，它由相同的神经元构成的单层，并且具有学习功能的自联想网络。它需要元构成的单层，并且具有学习功能的自联想网络。它需要对称连接。这个网络通过学习以完成制约优化和联想记忆对称连接。这个网络通过学习以完成制约优化和联想记忆等功能。它是目前人们研究得最多的模型之一。等功能。它是目前人们研究得最多的模型
6、之一。u BP网络是反向传播网络是反向传播(Back Propagation)网络。它是一种网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等泛应用的网络。它可用于语言综合，识别和自适应控制等用途。用途。BP网络需有教师训练。网络需有教师训练。uKohonen网络是典型的自组织神经网络，这种网络也称网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络为自组织特征映射网络SOM。它的输入层是单层单维神。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以经元；
7、而输出层是二维的神经元，神经元之间存在以“墨墨西哥帽西哥帽”形式进行侧向交互的作用。因而，在输出层中，形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使神经元之间有近扬远抑的反馈特性；从而使Kohonen网网络可以作为模式特征的检测器。络可以作为模式特征的检测器。 u ART网络也是一种自组织网络模型。这是一种无监督学网络也是一种自组织网络模型。这是一种无监督学习网络。它能够较好地协调适应性，稳定性和复杂性的要习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在求。在ART网络中，通常需要两个功能互补的子系统相互网络中，通常需要两个功能互补的子系统相互作用作用
8、ART网络主要用于模式识别，它不足之处是在于对网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。转换、失真和规模变化较敏感。 神经网络的学习规则可以粗略分成神经网络的学习规则可以粗略分成3类类:1.相关学习规则相关学习规则 这种规则只根据连接间的激活水平改变权系数。常用于自这种规则只根据连接间的激活水平改变权系数。常用于自联想网络，如联想网络，如Hopfield网络网络2.纠错学习规则纠错学习规则 这种规则根据输出节点的外部反馈改变权系数。按局部改这种规则根据输出节点的外部反馈改变权系数。按局部改善最大的方向一步步进行优化，从而最终找到全局优化值。善最大的方向一步步进行优化，
9、从而最终找到全局优化值。感知器学习就采用这种纠错学习规则例如感知器学习就采用这种纠错学习规则例如BP算法。用算法。用于统计性算法的模拟退火算法也属于这种学习规则。于统计性算法的模拟退火算法也属于这种学习规则。3.无监督学习规则。它是一种对输入测检进行自适应的学习无监督学习规则。它是一种对输入测检进行自适应的学习规则。规则。ART网络的自组织学习算法即属于这一类。网络的自组织学习算法即属于这一类。 神经网络信息处理的数学过程神经网络信息处理的数学过程 这个过程可分为两个阶段；执行阶段和学习阶段。下面以前这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。向网络情况说明这
10、两个阶段。 1执行阶段执行阶段 :指神经网络对输入信息进行处理，并产生对应指神经网络对输入信息进行处理，并产生对应的输出过程。的输出过程。1(1)(1)( )(1)(1) (1)niijjiiiiiu tW tX ttX tf u t 2学习阶段学习阶段 : 学习阶段是指神经网络自我完善的阶段；这时，网络按一学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习规则修改突触的权系数定的学习规则修改突触的权系数Wij，以使到结定的测度，以使到结定的测度函数函数E达到最小。达到最小。 神经网络对信息的学习是为了取得对信息的适应特性，或神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征
11、；而神经网络对信息的执行过程是对特征的检信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。索或者是对信息的分类过程。 神经网络学习系统框图神经网络学习系统框图输入部接收外来的输入样本输入部接收外来的输入样本X，由训练部进行网络的权系数，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数出进行比较，产生的误差去控制修改权系数W。 感知器是有单层计算单元的神经网络，
12、由线性元件及阀值元感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图所示。件组成。感知器如图所示。 感知器的最大作用就是可以用于分类，可以用做分类器感知器的最大作用就是可以用于分类，可以用做分类器11AA 类类B类类上面感知器的传递函数是阶跃函数，它可以用作分类器。上面感知器的传递函数是阶跃函数，它可以用作分类器。由于感知器学习算法因其传递函数的简单而存在局限性。由于感知器学习算法因其传递函数的简单而存在局限性。 存在问题：即如果函数不是线性可分时，则求不出结果；另存在问题：即如果函数不是线性可分时，则求不出结果；另外，不能推广到一般前馈网络中。外，不能推广到一般前馈网络中
13、。 解决办法：提出另一种算法解决办法：提出另一种算法梯度算法梯度算法(也即是也即是LMS法法)。 为了能实现梯度算法，需把神经元的激发函数改为可微分函为了能实现梯度算法，需把神经元的激发函数改为可微分函数，例如数，例如Sigmoid函数，函数， 反向传播学习的反向传播学习的BP算法算法 ；感知机学习算法是一种单层网络的学习算法。在多层网络感知机学习算法是一种单层网络的学习算法。在多层网络中它只能改变最后权系数。因此，感知机学习算法不能中它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。用于多层神经网络的学习。 BP算法是为了解决多层前向神经网络的权系数优化而提出算法是为了解
14、决多层前向神经网络的权系数优化而提出来的；所以，来的；所以，BP算法也通常暗示着神经网络的拓扑结构算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而有时也称无反馈多是一种无反馈的多层前向网络。故而有时也称无反馈多层前向网络为层前向网络为BP模型。模型。 BP算法是目前最广泛用的神经网算法是目前最广泛用的神经网络学习算法之一络学习算法之一 BP算法是用于前馈多层网络的学习算法算法是用于前馈多层网络的学习算法， 反向传播算法分二步进行，即正向传播和反向传播。反向传播算法分二步进行，即正向传播和反向传播。 1正向传播正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所输入的样
15、本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。等于期望输出，则进入反向传播过程。2反向传播反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差并对每个隐层的各
16、个神经元的权系数进行修改，以望误差信号趋向最小。信号趋向最小。传统的分类过程基于概率模型的贝叶斯决策理论，其局限性传统的分类过程基于概率模型的贝叶斯决策理论，其局限性是只有当满足已知的概率条件时才能够取得很好的效果。是只有当满足已知的概率条件时才能够取得很好的效果。由于神经网络的优点，神经网络用于分类可以取代若干传由于神经网络的优点，神经网络用于分类可以取代若干传统的分类方法。在先验概率不知道的情况下，也可以取的统的分类方法。在先验概率不知道的情况下，也可以取的很好的效果。很好的效果。神经网络用于后验概率估计 考虑一个映射函数考虑一个映射函数 对函数对函数F应用最小均方估计理论，最小期望均方误差应用最小均方估计理论，最小期望均方误差 是给定是给定x，y的条件期望的条件期望 ，在分类，在分类问题中，输出问题中，输出y是二进制值向量，如果是二进制值向量，如果x属于第属于第j类，那么类，那么第第j个基向量是个基向量是 F(x)的第的第j个元素个元素 :dMF RR 2( )E yF x(0,.0,1,0,.0)Tje ( )| x1* (1| )0* (0| )(1| )(| )jjiiij
