Gradient Boosting : une introduction
Lorsqu’il s’agit de résoudre des problèmes de Machine Learning sur données tabulées, c’est-à-dire issues de base de données relationnelles ou de fichiers de type CSV, les grandes gagnantes sont les méthodes de Gradient Boosting. Pour preuve, XGBoost, LightGBM, ou encore CatBoost se retrouvent généralement en tête des meilleurs algorithmes dans les concours de type Kaggle. Dans cet article, nous allons entrer dans le détail de leur fonctionnement, à l’aide de code, pour en cerner toutes les subtilités.