Régression logistique

Code source →

Quand l’utiliser ?

Étude de la probabilité de Y en fonction des Xi :

• Y variable qualitative binaire (expliquée) : Y=0 ou Y=1
• Xi variables qualitatives ou quantitatives (explicative)

Régression logistique simple : un seule variable X
Régression logistique multiple : plusieurs variables Xi

Étape 1 : lecture du jeu de données

Importer le jeu de données

Utiliser le jeu de données :

attach(data)

Y = binaire
X1 = explicative1
X2 = explicative2

Étape 2 : description des données

Calcul des proportions de Y=1 et Y=0 dans les différentes modalités des Xi

Étape 3 : vérification des conditions d’application

Condition : pas de lien entre les variables explicatives

Premier cas : variables quantitatives
Hypothèses :
H0 : pas de corrélation linéaire entre X1 et X2
H1 : corrélation linéaire entre X1 et X2

Test de corrélation :

corr.test(X1,X2)

Conclusion au seuil 5% :
p-value < 0,05 → rejet de H0 → corrélation linéaire entre X1 et X2 → possibilité de se passer d’une des variables explicative
p-value > 0,05 → non rejet de H0 → pas de corrélation linéaire entre X1 et X2 → condition OK

Deuxième cas : variables qualitatives
Hypothèses :
H0 : pas d’influence de X1 sur X2
H1 : influence de X1 sur X2

Test du chi2 d’indépendance :

chisq.test(X1,X2)

Conclusion au seuil 5% :
p-value < 0,05 → rejet de H0 → influence de X1 sur X2 → possibilité de se passer d’une des variables explicative
p-value > 0,05 → non rejet de H0 → pas d’influence de X1 sur X2 → condition OK

Étape 4 : modélisation

Calcul du modèle logistique :

logistique = glm(Y~X1+X2,family="binomial")

Affichage des résultats :

summary(logistique)

Équation du modèle :

P[Y=1|X] = exp(A1*X1+A2*X2+B)/(1+exp(A1*X1+B))

Avec :

A1 = Estimate_X1
A2 = Estimate_X2
B = Estimate_intercept

Test de Wald (summary)

Hypothèses :
H0 : pas d’influence de Xi sur Y
H1 : influence de Xi sur Y

Conclusion au seuil 5% :
p-value < 0,05 → rejet de H0 → influence de Xi sur Y
p-value > 0,05 → non rejet de H0 → pas d’influence de Xi sur Y

Inconvénient : ce test a tendance à favoriser H0

Test du rapport de vraisemblance

Hypothèses :
H0 : pas d’influence de Xi sur Y
H1 : influence de Xi sur Y

anova(logistique,test="Chisq")

Conclusion au seuil 5% :
p-value < 0,05 → rejet de H0 → influence de Xi sur Y
p-value > 0,05 → non rejet de H0 → pas d’influence de Xi sur Y

Étape 5 : validation du modèle

Adéquation du modèle

Hypothèses :
H0 : le modèle est correct
H1 : le modèle n’est pas correct

Test de Hosmer & Lemeshow :

hoslem.test(Y,fitted(logistique))

Conclusion au seuil 5% :
p-value < 0,05 → rejet de H0 → le modèle n’est pas correct
p-value > 0,05 → non rejet de H0 → le modèle est cohérent avec les données

Étude des résidus

Résidus studentisés :

sresidus = rstudent(logistique)

Normailté des résidus

shapiro.test(sresidus)

Conclusion au seuil 5% :
p-value > 0,05 → non rejet de H0 → les résidus suivent une loi normale → condition OK

Linéarité

plot(X,sresidus)
abline(h=c(-2,0,2))

95 % des résidus entre -2 et 2 → condition OK

Valeurs influentes

influence.measures(logistique)

Évaluation de l’amélioration du modèle en enlevant chaque valeur une par une : les valeurs influentes comportent des étoiles

Étape 6 : performance du modèle

Calcul des prédictions par le modèle :

predictions = predict(logistique)

Tracer la courbe ROC :

courbe = roc(Y,predictions)
plot(courbe)

Calcul de l’AUC :

courbe$auc

L’AUC permet la comparaison entre modèles prédictifs

Pour comparer des modèles et sélectionner le meilleur on peut également chercher celui avec les AIC et BIC les plus petits

← Plan