1.Multi-Agent Learning
1.1 算法特点
Multi-Agent Learning是多Agent系统的学习算法,是一个在AI里比较年轻而重要
的课题.一方面,单个Agent的局限性是很大的,就象单个的人,其能力也是有限的多
个Agent的组合,包括合作与协调将会大大地提高系统的智能:正所谓"三个臭皮匠,
顶一个诸葛亮".另一方面,随着Internet的逐渐普及与迅速扩大,Agent一下上升到
一个具有战略意义的地位.网络上的Agent自然地形成一个多Agent系统.因此,研究
基于多Agent的学习算法显得分外迫切。
研究者对此进行了大量的研究，其中相关的国际会议(WorkShop)有：Learning
,Interaction and Organizations in Multi-Agent Environments, ICMAS′96
。相关的杂志有：JETAI(Journal of Experimental and Theoretical Artifical
Intelligence)杂志的专刊 ：Learning in Distributed Artificial
Intelligence Systems；Machine Learning杂志的专刊：Multi-Agent Learning
。专门的书作有Gerhard Weiss& Sandip Sen的<Adaption and Learning in 数据挖掘研究院
Multi-Agent Systems> (Springer-Verlag出版社，3/20/1996)。另外，哥伦比亚
的JAM计划，就是试图在基于网络的信息系统上用基于Jave的Learning Agent进行
学习，学习过的Agent称为"classify agents "。这些Agen可以在网络上迁移，以
获得别的Agent的知识。
Multi-Agent Learning与一般的学习算法有所不同，它们具有如下特点：
1它基于,甚至要求多个Agent之间的相互作用,以建立整个系统的协调,学习,智能
化.也就是说,它强调的是对多个Agent组成的环境变化的及时反应和考虑相互间的
合作与协调。
2学习策略是有针对性的，对于不同的环境和问题，有不同的算法。
3 Multi-Agents系统很可能中有不同质的Agents，算法必须考虑异质Agent的特点。
4 Multi-Agent System中每个Agent的看法都会带有偏见，就是说只是局部最优。
学习算法必须从整体着想，设法从局部最优达到全局最优。
数据挖掘研究院
1.2.1分布式事例学习(Distributed Case-Based Learning )
基于事例推力(Case-Based Reasoning，CBR)由于拥有广泛的应用，近来受到了很
高的重视。M V Nagendra等人对此作出了深入的研究。他们目前的主要工作是"合
作恢复"(Cooperative Retrieval)。也就是说在Multi-Agent System中，把分布
在各个Agent的子事例抽取并且组合成一个新的事例。在这样一个系统中，每个
Agent都会有偏见和对解决问题的不完美的看法。这导致了这样一个需求：各个
Agents互相合作，抽取他们的事例以得到"最优子事例"，这些"最优子事例"以固
定的方式组合成一个对问题求解有用的完整的事例。每个Agent的视野是局部的，
这个偏见会导致它抽取的是"局部最优子事例"，而这些"局部最优子事例"如果以
全局的标准来衡量的话，则不一定是最优的。所以这要求各个Agents合作地抽取
他们的事例，以恢复和组装出一个好的组合例子。
目前，M V Nagendra等人已经实现了一个基于多Agent的路径计划(Path
Planning)系统，其中应用了分布式事例学习。
数据挖掘交友
1.2.2异质多Agent系统中结构角色的学习(Learning Organizational Roles in a
Heterogeous Multi-Agent System)
L-TEAM是一个为支持在合作化分布式搜索领域中的异质可重用Agent的TEAM的扩展
。多Agent的参数设计是合作搜索的一种形式，其变量的值的范围是在一个已知的
值域中。初始化是由一些有能力的Agent根据问题描述来对参数进行设置，当然，
这种设置会带有偏见。然后其他Agent就对初始设置进行扩展和评价，直到设置完
整并且所有参与的Agent都相互满意。
每个Agent在L-TEAM的搜索过程中扮演着一些结构角色。一个角色定义了在一个解
答中的一个或者一组任务。在L-TEAM中，一个可能的角色是：初始化参数设置，
扩展一个已经存在的部分参数设置和评价一个已经存在的设置。而有结果表明，
角色的分配影响了整个搜索的进程和最终的结果。这其中的原因可以追溯到特定
的Agent能够提供或者使用从其他Agent反馈的信息的能力。争决定了特定的角色
分配的优化。因此，学习技术被运用于以下的任务中：在使用参与的Agent中分配
角色，以各尽其才，在功能和效率上达到比较高的水平。
1.2.3协调学习策略(Learning Coordination Strategies)
在很多真实世界中的应用领域，例如网络控制和诊断，合作机器人，办公室自动
化中的合作分布式问题求解(cooperative distributed problem solving，
CDPS). 虽然协调性是CDPS中的基本技术要求，但是很多高级的、复杂的策略却不
能在所有的情形下有效地求解问题。人们寻求一种学习方法，能够在特定的问题
求解中协调。这种学习是通过记录和分析问题求解结果的推理。这种分析标识了
那些不好的状态：不合适的协调导致了冗余的动作或者及时地执行重要的动作，
因此导致系统功能下降。这种分析也常被用于建立特定状态下的协调策略，使用
关于网络动作的非局部的额外的信息，加到系统上以补救问题缺陷。这些策略能
够决定：(1) 局部和非局部的动作的优先级, (2)消息的优先级 (3)协调行为所
需要的非局部信息。这些策略同样能够把不同层次的协调引入到系统中，也就是
说，系统能决定何时使用协调，何时由它自治处理。这一课题应用在一个现实的
、分布问题求解中，例如计算机网络监控和诊断系统。
可参阅的文献有： 数据挖掘论坛
Sugawara, T. and Lesser, V. "On-Line Learning of Coordination Plans,"
Computer Science Technical Report 93-27, University of Massachusetts,
Amherst, 1993. (This is an extended version of a paper that appeared in
the Twelfth International Workshop on Distributed Artificial
Intelligence.).
Sugawara, T. and Lesser, V. "Learning Coordination Plans in Distributed
Problem-Solving Environments," Revised and Shortened version of
Computer Science Technical Report 93-27, University of Massachusetts,
Amherst, 1993. (Also appeared in the Twelfth International Workshop on
Distributed Artificial Intelligence, 1993). 数据挖掘实验室
Sugawara, T. and Murakami, K. "A Multiagent Diagnostic System for
Internetwork Problems," Proceedings of INET′92, Kobe, Japan, 1992.
Sugawara, T. "Cooperation in Multiagent Systems by Hypothesis-Based
Preceding Reasoning," Proceedings of the AAAI Eleventh International
Workshop on DAI, 1992.
数据挖掘交友
数据挖掘实验室
