AdaBoost算法的特征选择

应用背景AdaBoost（Adaptive Boosting）算法由Yoav Freund和罗伯特Shapire在1995用于从一组弱分类器中生成强分类器。弗氏和Y.R. Schapire说明一个有趣的例子，赛马的赌徒，解释清楚优化和解空间搜索。很自然地，赌徒会问一些很成功的问题，在他做出决定之前，专家赌徒们对他有什么帮助。每一位专家会根据自己的经验给他一些好的建议。在模式分类方面，这些建议形成了一个大池的分类，虽然他们显然是非常粗糙的不准确。问题是，个人的经验可以整合起来，建立一个更好的赌徒的投注分类？从那时起，这个问题吸引了很多研究人员的关注寻求有价值的策略来处理。卡恩斯和勇士是第一个提出这个问题的人是否有些弱学习算法比随机猜测这是在PAC更好一点模型可以“增强”到一个精确的学习算法；关键技术AdaBoost算法通过维护一个集合的重量超过创建一套差的学习者训练数据和调整后，每个弱学习周期自适应。训练的权重样品的分类由目前的弱学习将增加的重量正确分类的样本将会减少。