第7章机器学习.ppt

《第7章机器学习.ppt》由会员分享，可在线阅读，更多相关《第7章机器学习.ppt（71页珍藏版）》请在第壹文秘上搜索。

1、Artificial Intelligence Principles and Applications 第第 7 章章 机器学习机器学习2第7章 机器学习7.1 机器学习的基本概念机器学习的基本概念7.2 机械式学习机械式学习7.3 指导式学习指导式学习7.4 归纳学习归纳学习7.5 类比学习类比学习7.6 基于解释的学习基于解释的学习7.7 学习方法的比较与展望学习方法的比较与展望3第7章 机器学习7.1 机器学习的基本概念机器学习的基本概念7.2 机械式学习机械式学习7.3 指导式学习指导式学习7.4 归纳学习归纳学习7.5 类比学习类比学习7.6 基于解释的学习基于解释的学习7.7 学习

2、方法的比较与展望学习方法的比较与展望47.1 机器学习的基本概念7.1.1 学习学习7.1.2 机器学习机器学习7.1.3 机器学习系统机器学习系统7.1.4 机器学习的发展机器学习的发展7.1.5 机器学习的分类机器学习的分类5 7.1.1 学习（1）学习是系统改进其性能的过程：西蒙，）学习是系统改进其性能的过程：西蒙，1980。（2）学习是获取知识的过程。）学习是获取知识的过程。（3）学习是技能的获取。）学习是技能的获取。（4）学习是事物规律的发现过程。）学习是事物规律的发现过程。学习学习：一个有特定目的的知识获取过程。：一个有特定目的的知识获取过程。学习的学习的内在行为内在行为：获取知识

3、、积累经验、发现规律。：获取知识、积累经验、发现规律。学习的学习的外部表现外部表现：改进性能、适应环境、实现系统的：改进性能、适应环境、实现系统的 自我完善。自我完善。6 机器学习机器学习：计算机能模拟人的学习行为，自动地：计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自通过学习获取知识和技能，不断改善性能，实现自我完善。我完善。7.1.2 机器学习（1）学习机理）学习机理 人类获取知识、技能和抽象概念的天赋能力。（2）学习方法）学习方法（3）学习系统）学习系统 71.机器学习系统的定义机器学习系统的定义 学习系统：学习系统：能够在一定程度上实现机器学习的系统。能够

4、在一定程度上实现机器学习的系统。萨利斯萨利斯(Saris)的定义（的定义（1973年）年）：能够从某个过程或环：能够从某个过程或环境的未知特征中学到有关信息，并且能把学到的信息用境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策或控制，以便改进系统的性于未来的估计、分类、决策或控制，以便改进系统的性能。能。施密斯等的定义（施密斯等的定义（1977年）年）：在与环境相互作用时，能在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能。利用过去与环境作用时得到的信息，并提高其性能。7.1 机器学习的基本概念机器学习的基本概念 7.1.3 机器学习系统8 2.机器学

5、习系统的条件和能力机器学习系统的条件和能力（1）具有适当的学习环境）具有适当的学习环境（2）具有一定的学习能力）具有一定的学习能力（3）能应用学到的知识求解问题）能应用学到的知识求解问题（4）能提高系统的性能）能提高系统的性能 7.1.3 机器学习系统9 3.机器学习系统的基本模型机器学习系统的基本模型7.1.3 机器学习系统执行与评价环境学习知识库学习系统的基本结构学习系统的基本结构107.1.4 机器学习的发展1.神经元模型的研究（神经元模型的研究（20世纪世纪50年代中期年代中期）主要研究工作：应用决策理论的方法研制可适应环境的主要研究工作：应用决策理论的方法研制可适应环境的通用学习系统

6、（通用学习系统（general purpose learning system）。）。1957年，罗森勃拉特（年，罗森勃拉特（F.Rosenblatt）提出感知器模型。）提出感知器模型。1969年，明斯基和佩珀特（年，明斯基和佩珀特（Papert）发表了论著）发表了论著Perceptron，对神经元模型的研究作出了悲观的论断。，对神经元模型的研究作出了悲观的论断。117.1.4 机器学习的发展2.符号学习的研究（符号学习的研究（20世纪世纪70年代中期年代中期）莫斯托夫（莫斯托夫（D.J.Mostow）的指导式学习。）的指导式学习。温斯顿（温斯顿（Winston）和卡鲍尼尔（）和卡鲍尼尔（J.

7、G.Carbonell）的）的类比学习。类比学习。米切尔（米切尔（T.M.Mitchell）等人的解释学习。）等人的解释学习。127.1.4 机器学习的发展3.连接学习的研究（连接学习的研究（20世纪世纪80年代年代）1980年在卡内基梅隆大学召开了第一届机器学习国年在卡内基梅隆大学召开了第一届机器学习国际研讨会。际研讨会。1986年创刊了第一本机器学习杂志年创刊了第一本机器学习杂志Machine Learning。137.1.5 机器学习的分类 1.按学习方法分类（温斯顿，按学习方法分类（温斯顿，1977）：）：机械式学习、指导式学习、示例学习、类比学习、机械式学习、指导式学习、示例学习、类

8、比学习、解释学习等。解释学习等。2.按学习能力分类：按学习能力分类：监督学习监督学习（有教师学习）（有教师学习）147.1.5 机器学习的分类 2.按学习能力分类：按学习能力分类：再励学习（强化学习或增强学习）再励学习（强化学习或增强学习）157.1.5 机器学习的分类 2.按学习能力分类：按学习能力分类：非监督学习（无教师学习）非监督学习（无教师学习）3.按推理方式分类：按推理方式分类：基于演绎的学习（解释学习）。基于演绎的学习（解释学习）。基于归纳的学习基于归纳的学习（示例学习、发现学习等（示例学习、发现学习等）。）。4.按综合属性分类：按综合属性分类：归纳学习、分析学习、连接学习等。归纳

9、学习、分析学习、连接学习等。16第7章 机器学习7.1 机器学习的基本概念机器学习的基本概念7.2 机械式学习机械式学习7.3 指导式学习指导式学习7.4 归纳学习归纳学习7.5 类比学习类比学习7.6 基于解释的学习基于解释的学习7.7 学习方法的比较与展望学习方法的比较与展望177.2 机械式学习 机械式机械式学习学习（rote learning）又称记忆学习，或死记式学习：通过直接记忆或者存储外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题。机械式学习实质是用存储空间来换取处理时间。18塞缪尔的跳棋程序塞缪尔的跳棋程序 CHECKERS7.2

10、机械式学习 以以 A为结点的博弈树为结点的博弈树QA6A博弈搜索树博弈搜索树2B6C2486912343865649619第7章 机器学习7.1 机器学习的基本概念机器学习的基本概念7.2 机械式学习机械式学习7.3 指导式学习指导式学习7.4 归纳学习归纳学习7.5 类比学习类比学习7.6 基于解释的学习基于解释的学习7.7 学习方法的比较与展望学习方法的比较与展望207.3 指导式学习 指导式学习指导式学习（learning by being told）又称嘱咐式学习或教授式学习：由外部环境向系统提供一般性的指示或建议，系统把它们具体地转化为细节知识并送入知识库中。在学习过程中要反复对形成

11、的知识进行评价，使其不断完善。指导式学习的学习过程指导式学习的学习过程：征询指导者的指示或建议、把征询意见转换为可执行的内部形式、加入知识库、评价。217.3 指导式学习 简单征询简单征询：指导者给出一般性的意见，系统将其具体化。复杂征询复杂征询：系统不仅要求指导者给出一般性的建议，而且还要具体地鉴别知识库中可能存在的问题，并给出修改意见。被动征询被动征询：系统只是被动地等待指导者提供意见。主动征询：主动征询：系统不只是被动地接受指示，而且还能主动地提出询问，把指导者的注意力集中在特定的问题上。1.征询指导者的指示或建议征询指导者的指示或建议 227.3 指导式学习 学习系统应具有把用约定形式

12、表示的征询意见转化为计算机内部可执行形式的能力，并且能在转化过程中进行语法检查及适当的语义分析。2.把征询意见转换为可执行的内部形式把征询意见转换为可执行的内部形式 在加入过程中要对知识进行一致性检查，以防止出现矛盾、冗余、环路等问题。3.加入知识库加入知识库 评价方法：对新知识进行经验测试，即执行一些标准例子，然后检查执行情况是否与已知情况一致。4.评价评价 23第7章 机器学习7.1 机器学习的基本概念机器学习的基本概念7.2 机械式学习机械式学习7.3 指导式学习指导式学习7.4 归纳学习归纳学习7.5 类比学习类比学习7.6 基于解释的学习基于解释的学习7.7 学习方法的比较与展望学习

13、方法的比较与展望247.4 归纳学习7.4.1 归纳推理归纳推理7.4.2 示例学习示例学习7.4.3 观察与发现学习观察与发现学习25 7.4.1 归纳推理归纳推理归纳推理：应用归纳方法所进行的推理，即从足够多的事例中归纳出一般性的知识。它是一种从个别到一般从个别到一般、从部分到整体从部分到整体的推理。归纳推理的重要特征归纳推理的重要特征：归纳出的结论不能绝对保证它的正确性，只能以某种程度相信它为真。例如，由“麻雀会飞麻雀会飞”、“鸽子会飞鸽子会飞”、“燕子会燕子会飞飞”归纳出“有翅膀的动物会飞有翅膀的动物会飞”、“长羽毛的动物会飞长羽毛的动物会飞”等结论。26 从个别事例归纳出一般性知识的

14、方法从个别事例归纳出一般性知识的方法：设 ：某类事物 A中的具体事物。已知 都有属性 P，并且没有发现反例。当 n 足够大时，可得出：“A中所有事物都有属性 P”。7.4.1 归纳推理n21 aaa，1.枚举归纳枚举归纳 n21 aaa，27 例如，设有如下已知事例：张三是足球运动员，他的体格健壮。张三是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。刘六是足球运动员，他的体格健壮。刘六是足球运动员，他的体格健壮。事例足够多时，可归纳出一般性知识：凡是足球运动员，他的体格一定健壮。凡是足球运动员，他的体格一定健壮。7.4.1 归纳推理1.枚举归纳枚举归

15、纳(0.9)28 已知两个事物 a与 b有 n个属性相似或相同，即：a具有属性具有属性 P1，b也具有属性也具有属性 P1。a具有属性具有属性 P1，b也具有属性也具有属性P2。a具有属性具有属性 P1，b也具有属性也具有属性Pn。且 a具有属性具有属性 Pn+1，则当 n足够大时，可归纳出 b也具有属性也具有属性Pn+1。7.4.1 归纳推理2.联想归纳联想归纳 29 设：且 则当A与B中有新元素出现时（设 A 中的 及 B中的 ），若已知 有属性，就可得出 有属性，即 7.4.1 归纳推理 3.类比归纳类比归纳 ,21aaA,21bbB 1,2,.iiP aQ biia bQaPibiai

16、b30 一般模式一般模式：（1）若 H 为真时，则H E必为真或以置信度 cf1成立。（2）观察到 E 成立或以置信度cf2成立。（3）则 H 以某种置信度(cf)成立。7.4.1 归纳推理4.逆推理归纳逆推理归纳 用公式表示用公式表示：EH1cfE2cfHcf31 cf 的的计算方法计算方法：7.4.1 归纳推理4.逆推理归纳（续）逆推理归纳（续）EPHPcfEPHPHEPEHPf c1121cff ccf327.4.1 归纳推理5.消除归纳消除归纳 消除归纳消除归纳：通过不断否定原先的假设来得出结论。已知：已知：结论：结论：12111iniiniAAAAAAAAA337.4.1 归纳推理演绎推理演绎推理归纳推理归纳推理 从一般到个别 从个别到一般 必然性推理 或然性推理 结论不会超出前提所断定 的范围 不能获取新知识 结论适用于更大的范围 可获取新知识347.4.2 示例学习 示例学习示例学习（learning from examples）又称为实例学习或从例子中学习：通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。示例学习中，外部环境（教师）提供一组例