摘要：机器学习本质上就是多目标优化问题。解决机器学习问题的多目标优化方法有三种：标量式的多目标优化，按词典排序的多目标优化以及基于Pareto的多目标优化，而基于Pareto的多目标优化方法是目前使用最广泛的，也是研究较多的。文章概述了在机器学习中使用的多目标优化算法的优缺点。最后表明基于Pareto的多目标优化方法能有效克服前两种优化方法的缺点，是三种方法中最好的。 关键词：多目标优化；Pareto；机器学习 中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)15-3689-02 Machine Learning in Multi Objective Optimization Algorithm ZHENG Xiu-lian (Taizhou Vocational School of Mechanical, electrical technology,Taizhou 225300,China) Abstract: Machine learning is essentially multi-objective optimization problem. There are three very different approaches to cope with this multi-objective optimization problem: the conventional weighted-formula approach, the lexicographic approach, the Pareto ap? proach. At present, the most widely used approach is the Pareto approach. This article provides an overview of the machine learning is used in multi objective optimization algorithms. The final show that Pareto based multi objective optimization method can effectively overcome before two optimization method, three methods is the best. Key words: Multi-objective optimization; Pareto; Machine learning 机器学习本质上就是多目标优化问题。任何机器学习方法都包括两个步骤，即：构造一个候选模型，然后选择某个学习算法根据样本数据集对候选模型进行参数估计。通常，模型构造和参数估计是在迭代的过程中同步实现，但在许多情况下，模型构造只凭直觉和经验做一次。换言之，用户凭经验构造模型，然后使用某个学习算法来估计模型的参数。 目前，用多目标优化来解决机器学习问题的方法主要有三种：标量式的多目标优化[2]，按词典排序的多目标优化[3]以及基于Pare? to的多目标优化[4-7]。标量式的多目标优化是将多目标问题转化为单目标问题来解决，这种方法实现简单，但存在很多缺点，如在目标的转化过程中需要给不同目标设置权重值，这些权重值的设置通常都是凭经验或通过反复实验确定的，带有主观性，而目标的转化是将含义不同的目标整合到一起，这使得最终的目标函数对用户而言是没有意义的。按词典排序的多目标优化是对目标赋予优先权，由优先权决定各目标的优化顺序，该方法避免了将含义不同的目标进行整合，但在实现过程中引入了新的参数，并且各目标的优先权的确定也是待解决的问题。基于Pareto的多目标优化是采用多目标进化算法来解决多目标优化问题，将各个目标单独看待，找出同时优化所有目标的非支配解集，用户可以根据需要从该解集中选择自己需要的解，达到对问题的更深的认识。 [3] Kaufmann K A,Michalski R S.Learning from inconsistent and noisy data:the AQ18 approach[J].Foundations of Intelligent Systems (Proc. ISMIS-99).LNAI,Springer,1999,160(9):411-419. [4] Kim Y,Street W N,Menczer F.Feature selection in unsupervised learning via evolutionary search[C].Proc.6th ACM SIGKDD Int.Conf.on Knowledge Discovery and Data Mining (KDD-2000),ACM,2000:365-369. [5] Beatriz de la Iglesia,Mark S.Philpott,Anthony J.Bagnall and Vie J.Rayward-Smith.Data Mining Rules Using Multi-Objective Evolutionary Algorithms[C].IEEE 2003. [6] Hisao Ishibuchi and Takashi Yamamoto.Fuzzy Rule Selection by Multi-Objective Genetic Local Search Algorithms and Rule Evaluation Measures in Data Mining[D].Department of Industrial Engineering,Osaka Prefecture University,2004. [7] Abbass H. A memetic Pareto approach to artificial neural networks[C]//Proc 14th Aust Joint Conf Artif Intell,2001:1-12.
摘要：机器学习本质上就是多目标优化问题。解决机器学习问题的多目标优化方法有三种：标量式的多目标优化，按词典排序的多目标优化以及基于Pareto的多目标优化，而基于Pareto的多目标优化方法是目前使用最广泛的，也是研究较多的。文章概述了在机器学习中使用的多目标优化算法的优缺点。最后表明基于Pareto的多目标优化方法能有效克服前两种优化方法的缺点，是三种方法中最好的。 关键词：多目标优化；Pareto；机器学习 中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)15-3689-02 Machine Learning in Multi Objective Optimization Algorithm ZHENG Xiu-lian (Taizhou Vocational School of Mechanical, electrical technology,Taizhou 225300,China) Abstract: Machine learning is essentially multi-objective optimization problem. There are three very different approaches to cope with this multi-objective optimization problem: the conventional weighted-formula approach, the lexicographic approach, the Pareto ap? proach. At present, the most widely used approach is the Pareto approach. This article provides an overview of the machine learning is used in multi objective optimization algorithms. The final show that Pareto based multi objective optimization method can effectively overcome before two optimization method, three methods is the best. Key words: Multi-objective optimization; Pareto; Machine learning 机器学习本质上就是多目标优化问题。任何机器学习方法都包括两个步骤，即：构造一个候选模型，然后选择某个学习算法根据样本数据集对候选模型进行参数估计。通常，模型构造和参数估计是在迭代的过程中同步实现，但在许多情况下，模型构造只凭直觉和经验做一次。换言之，用户凭经验构造模型，然后使用某个学习算法来估计模型的参数。 目前，用多目标优化来解决机器学习问题的方法主要有三种：标量式的多目标优化[2]，按词典排序的多目标优化[3]以及基于Pare? to的多目标优化[4-7]。标量式的多目标优化是将多目标问题转化为单目标问题来解决，这种方法实现简单，但存在很多缺点，如在目标的转化过程中需要给不同目标设置权重值，这些权重值的设置通常都是凭经验或通过反复实验确定的，带有主观性，而目标的转化是将含义不同的目标整合到一起，这使得最终的目标函数对用户而言是没有意义的。按词典排序的多目标优化是对目标赋予优先权，由优先权决定各目标的优化顺序，该方法避免了将含义不同的目标进行整合，但在实现过程中引入了新的参数，并且各目标的优先权的确定也是待解决的问题。基于Pareto的多目标优化是采用多目标进化算法来解决多目标优化问题，将各个目标单独看待，找出同时优化所有目标的非支配解集，用户可以根据需要从该解集中选择自己需要的解，达到对问题的更深的认识。 [3] Kaufmann K A,Michalski R S.Learning from inconsistent and noisy data:the AQ18 approach[J].Foundations of Intelligent Systems (Proc. ISMIS-99).LNAI,Springer,1999,160(9):411-419. [4] Kim Y,Street W N,Menczer F.Feature selection in unsupervised learning via evolutionary search[C].Proc.6th ACM SIGKDD Int.Conf.on Knowledge Discovery and Data Mining (KDD-2000),ACM,2000:365-369. [5] Beatriz de la Iglesia,Mark S.Philpott,Anthony J.Bagnall and Vie J.Rayward-Smith.Data Mining Rules Using Multi-Objective Evolutionary Algorithms[C].IEEE 2003. [6] Hisao Ishibuchi and Takashi Yamamoto.Fuzzy Rule Selection by Multi-Objective Genetic Local Search Algorithms and Rule Evaluation Measures in Data Mining[D].Department of Industrial Engineering,Osaka Prefecture University,2004. [7] Abbass H. A memetic Pareto approach to artificial neural networks[C]//Proc 14th Aust Joint Conf Artif Intell,2001:1-12.