Validité et fiabilité des questionnaires : guide pratique pour les chercheurs

Presque chaque chapitre méthodologique d'un mémoire de master ou d'une thèse de doctorat comporte une section intitulée « validité et fiabilité de l'instrument ». Pourtant, de nombreux chercheurs confondent les deux notions ou se contentent de rapporter un alpha de Cronbach comme preuve des deux. Ce guide explique la différence, les principaux types de chaque mesure et ce qu'un jury d'examen attend de vous.

La validité et la fiabilité ne sont pas identiques {#difference}

• Validité : le questionnaire mesure-t-il ce qu'il est censé mesurer ? Un questionnaire sur la « satisfaction au travail » est valide si ses items mesurent réellement la satisfaction au travail, et non la loyauté envers un manager ou le désir de plaire au chercheur.
• Fiabilité : le questionnaire donne-t-il des résultats cohérents ? Si vous le soumettiez à nouveau aux mêmes personnes dans des conditions similaires, ou si vous compariez ses items entre eux, obtiendriez-vous une image similaire ?

L'image classique est celle d'une cible. Un archer fiable tire ses flèches au même endroit, mais peut-être loin du centre. Un archer valide atteint le centre. La fiabilité est nécessaire à la validité, mais elle ne suffit pas : un questionnaire peut être très cohérent tout en mesurant la mauvaise chose.

C'est pourquoi dire « l'alpha de Cronbach était de 0,89, ce qui montre que l'instrument est valide et fiable » n'est pas une phrase rigoureuse. L'alpha ne renseigne que sur la fiabilité.

Types de validité {#validity-types}

Validité apparente et validité de contenu {#content}

La validité apparente signifie que les items semblent pertinents et clairs pour quiconque les lit. La validité de contenu va plus loin : les items couvrent-ils chaque aspect du concept mesuré, sans s'en écarter ?

La méthode habituelle est l'examen par des experts : le brouillon est envoyé à plusieurs spécialistes du domaine, qui jugent chaque item (pertinence, clarté, formulation) et suggèrent des suppressions, ajouts ou modifications. Le questionnaire est ensuite révisé selon les points de consensus.

Certaines universités demandent de quantifier cet accord, par exemple via le ratio de validité de contenu (CVR) de Lawshe ou l'indice de validité de contenu (CVI). Demandez à votre directeur de recherche quelle méthode votre université privilégie.

Important la validité de contenu est un jugement d'expert. Aucun logiciel statistique ne peut la calculer à partir des réponses des participants.

Validité de cohérence interne {#internal-consistency}

Dans de nombreuses thèses, cela désigne la corrélation de chaque item avec le score total de son construit, et de chaque construit avec le score total du questionnaire. Un item dont la corrélation est faible ou non significative est un candidat à la suppression ou à la reformulation.

La mesure la plus précise est la corrélation item-total corrigée : la corrélation de l'item avec la somme des autres items de son construit. Inclure l'item dans le total auquel il est comparé gonfle artificiellement la corrélation, surtout pour les construits courts. Beaucoup de chercheurs considèrent une valeur inférieure à 0,30 comme le signe d'un item faible. C'est une règle empirique, pas une loi.

Validité de construit {#construct}

La validité de construit pose la question suivante : les items se regroupent-ils selon les construits conçus ? Si votre questionnaire mesure trois dimensions, les données montrent-elles réellement trois dimensions ?

Elle est généralement examinée par une analyse factorielle exploratoire, détaillée ci-dessous. Elle inclut également :

• Validité convergente : votre instrument est fortement corrélé à un autre instrument mesurant le même concept.
• Validité discriminante : il est faiblement corrélé à un instrument mesurant un concept différent.

Validité de critère {#criterion}

Les scores du questionnaire sont mis en relation avec un critère externe connu. Par exemple : les étudiants ayant un score élevé sur une échelle d'« engagement académique » ont-ils de meilleures notes ? Lorsque le critère est mesuré simultanément, on parle de validité concomitante ; lorsqu'il est mesuré plus tard, de validité prédictive.

Comment mesurer la fiabilité {#reliability-methods}

Deux règles s'appliquent à chaque méthode :

1. Calculez la fiabilité pour chaque construit, et non seulement pour l'ensemble du questionnaire. Un questionnaire avec cinq construits peut afficher un alpha global élevé même si l'un des construits est faible.
2. Inversez d'abord les items formulés négativement. Un item comme « Je manque les cours sans raison valable » dans une échelle d'engagement doit être inversé, sinon la fiabilité chute alors que l'instrument est correct.

L'analyse factorielle exploratoire en bref {#efa}

L'analyse factorielle exploratoire recherche des groupes d'items fortement corrélés entre eux, appelés « facteurs ». Si votre conception est solide, les facteurs correspondent à vos construits.

Ce qu'une thèse rapporte généralement :

1. L'adéquation des données : la mesure KMO (0,60 ou plus est acceptable, plus proche de 1 est mieux) et le Test de sphéricité de Bartlett, qui doit être significatif.
2. Le nombre de facteurs : valeurs propres supérieures à 1, graphique des éboulis (scree plot) et variance expliquée.
3. Les saturations après rotation : la force avec laquelle chaque item sature sur son facteur. Beaucoup utilisent 0,40 comme minimum et réexaminent tout item saturant de manière similaire sur deux facteurs.

Certaines études effectuent ensuite une analyse factorielle confirmatoire (AFC), qui teste un modèle prédéfini avec des indices d'ajustement comme le CFI et le RMSEA, souvent via des logiciels dédiés comme AMOS ou le package lavaan dans R.

Note l'analyse factorielle nécessite un échantillon adéquat. Les chercheurs citent des règles comme 5 à 10 répondants par item, ou au moins 200 répondants, mais ce sont des guides approximatifs qui dépendent de la force des saturations. Voir notre article sur la taille d'échantillon.

Comment rédiger cette section {#write-up}

Organisez votre chapitre méthodologique comme suit :

1. Validité apparente et de contenu : nombre d'experts, domaines, jugements portés et modifications effectuées (items supprimés ou reformulés).
2. L'étude pilote : taille, origine, et précision qu'elle est distincte de l'échantillon principal.
3. Cohérence interne : tableau de la corrélation de chaque item avec son construit.
4. Validité de construit (si effectuée) : KMO, Bartlett, nombre de facteurs, variance expliquée et tableau des saturations.
5. Fiabilité : tableau avec l'alpha de chaque construit et de l'instrument global, avec le nombre d'items par construit.

Exemple de phrase :

"Pour établir la fiabilité, l'alpha de Cronbach a été calculé pour chaque construit. Les valeurs variaient de 0,81 à 0,92, et atteignaient 0,94 pour l'ensemble de l'instrument, indiquant une cohérence interne élevée."

Les chiffres de cet exemple sont illustratifs.

Erreurs courantes {#mistakes}

• Utiliser l'alpha pour prouver la validité. L'alpha ne mesure que la fiabilité.
• Calculer l'alpha pour tout le questionnaire sans distinguer les construits. Un construit faible est masqué par le total.
• Oublier d'inverser les items négatifs. La fiabilité chute et certaines corrélations changent de signe.
• Inclure l'étude pilote dans l'échantillon principal pour l'analyse finale.
• Effectuer une analyse factorielle sur un échantillon trop petit et en tirer des conclusions.
• Traduire une échelle publiée sans vérifier sa validité dans le nouveau contexte. Une échelle publiée nécessite l'autorisation de l'auteur, et une traduction exige un examen par des experts et un test pilote.

Comment Pulseform vous aide {#pulseform}

Lorsque vous créez votre questionnaire, définissez un construit pour chaque item et marquez les items à inverser. Pulseform calcule directement à partir des réponses :

• L'alpha de Cronbach pour chaque construit avec un verdict clair, l'alpha si l'item est supprimé et la corrélation item-total corrigée,
• L'analyse factorielle exploratoire : KMO, Bartlett, valeurs propres et saturations après rotation Varimax,
• Une matrice de corrélation entre les construits, recommandant Pearson ou Spearman selon la normalité.

L'analyse factorielle confirmatoire est volontairement exclue, vous pouvez exporter vos données vers SPSS pour l'effectuer. La validité de contenu par examen d'experts reste votre travail et celui de vos relecteurs. Les détails se trouvent dans le guide enquêtes académiques, et un exemple complet avec des chiffres est disponible dans Lire un rapport avec moi.

Références {#sources}

Les sources originales des formules, seuils et règles empiriques de cet article :

• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2019). Multivariate data analysis (8th ed.). Cengage Learning.
• Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39(1), 31–36.
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
• MacCallum, R. C., Widaman, K. F., Zhang, S., & Hong, S. (1999). Sample size in factor analysis. Psychological Methods, 4(1), 84–99.
• McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
• Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489–497.