Quelle est la différence entre stimuler et mendier dans l'apprentissage automatique?


Réponse 1:

Ils sont tous deux un ensemble d'apprenants. Chaque apprenant peut être KNN, LinReg, Decision Tree ou SVM. Chaque apprenant de l'ensemble peut être différent. Rassembler différents apprenants réduit le biais de l'apprenant d'ensemble.

Vous pouvez également choisir d'utiliser le même algorithme d'apprentissage pour chaque apprenant, mais choisissez différents sous-ensembles (ou sacs) de l'ensemble de données total. Les sacs de données sont choisis au hasard. C'est de l'ensachage. Avez-vous un ensemble de différents modèles. C'est de l'ensachage.

Le boosting est une simple variation de l'ensachage. Par exemple, Ada Boost. Il s'efforce d'améliorer les apprenants là où les apprenants ne réussissent pas bien. Les sacs ne sont pas choisis au hasard. Les sacs (ou sous-ensembles de données) sont choisis en fonction de points de données qui n'ont pas été bien formés (ou qui fonctionnent bien) sur les modèles de sacs précédents.

Ada Boost est plus susceptible de sur-équiper, car il améliore les points de données mal modélisés. Mais en général, les apprenants d'ensemble réduisent le surapprentissage et réduisent l'erreur.