Sipina - Arbres de décision

Ecrit avec D.A. Zighed, cet ouvrage reprend en grande partie ma thèse de doctorat.

Il se démarque néanmoins par la " Partie 2 ", très didactique, où les méthodes les plus populaires (CHAID, CART et C4.5) sont présentées  de manière détaillée. En effet, si la CART est largement décrite dans les ouvrages en langue française, C4.5 et CHAID sont souvent passés sous silence. Pourtant il s'agit de méthodes très largement répandues dans la communauté scientifique, et programmées dans une foultitude de logiciels commerciaux. Les chapitres qui s'y rapportent positionnent les avantages et inconvénients de ces techniques.

Autre aspect intéressant, le chapitre 8, toujours dans la partie 2, consacrée à la segmentation binaire généralisée permet de ramener dans un cadre commun les variantes consacrées au traitement des variables d'intérêt nominales, ordinales et continues. Le formalisme adopté donne des éléments de compréhension sur l'essence de l'induction par arbres, il permet aussi de mieux comprendre les différentes généralisations que l'on pourrait apporter lorsque l'on décide de traiter d'autres types de problèmes (les arbres de classification par ex., où on traite en bloc un groupe de variables d'intérêt).

Références :
D.A. Zighed, R. Rakotomalala, " Graphes d'Induction - Apprentissage et Data Mining ", Hermès, 2000.
R. Rakotomalala, " Méthode d'induction d'arbres - CHAID, CART, C4.5 et les autres ".

Cette partie (la 3-ème) de l'ouvrage de Nakache et Confais est dédiée à la segmentation par arbres. Deux aspects retiennent principalement l'attention : une description approfondie de la méthode CART (Breiman et al., 1984) ; l'instanciation de la segmentation dans les domaines connexes telles que l'analyse des données de survie.

Dans le chapitre 8, la description de CART est fidèle à l'ouvrage original. Tous les aspects importants sont passés en revue : le critère de division d'un segment avec l'indice de Gini ; la prise en compte des données incomplètes avec les division suppléantes ; etc. La procédure de détermination de l'arbre " optimal " à l'aide du post-élagage, très élaboré dans CART, est particulièrement détaillée.

Ce chapitre est largement illustré par une étude de cas sous le logiciel SPAD.

Le chapitre 9 décrit l'induction des arbres de régression. C'est suffisamment rare pour être signalé. Bien que tenant une place non négligeable dans l'ouvrage originel de Breiman et al. (1984), la méthode est à peine effleurée dans les ouvrages ou les publications scientifiques. Avec un peu moins de détail certes que dans le chapitre précédent, les auteurs présentent l'essentiel de l'approche. C'est un des rares descriptifs dont on dispose dans les références en langue française.

Le chapitre 10 est une vraie originalité. Les auteurs montrent une généralisation des arbres dans le traitement des données de survie. Non pas que la méthode soit réellement originale, c'est plutôt son intégration dans un ouvrage à large diffusion qui l'est. Les références donneront aux lecteurs tous les pointeurs s'ils veulent approfondir la méthode.

Références :
J.P. Nakache, J. Confais, " Statistique Explicative Appliquée : analyse discriminante, modèle logistique, segmentation par arbre ", Technip, 2003.
L. Breiman, J. Friedman, R. Olsen, C. Stone, " Classification and Regression Trees ", Wadsworth, 1984.

Cet article présente de manière didactique l'induction d'un arbre de décision à partir de données. A l'aide d'un exemple tiré de l'ouvrage de Quinlan (1993), les principales étapes de l'apprentissage d'un arbre de décision sont mises en avant. L'accent est mis sur les points principaux : choix de la variable de segmentation, découpage des descripteurs continus, détermination de la profondeur optimale de l'arbre, règle de décision sur les feuilles.

Dans un deuxième temps, un tutoriel montre l'instanciation d'un arbre de décision dans un logiciel gratuit, en l'occurrence SIPINA. L'exemple porte sur le fameux fichier IRIS de Fisher (1936). Nous en profitons pour introduire les aspects géométriques de l'apprentissage supervisé.

Enfin, dans un troisième temps, un bilan des forces et faiblesses de la méthode permet de la situer parmi les autres techniques de Data Mining. Un tour d'horizon très rapide sur les variantes méthodologiques conclut l'article.

Cet article peut être lu de différentes manières : pour comprendre le processus d'induction, pour voir un peu ce qui se fait dans le domaine ces dernières années, pour situer la technique parmi les autres méthodes de fouille de données,…

Référence : R. Rakotomalala, " Arbres de décision ", in Revue Modulad, n°33, 2005.