Identifier des axes d'amélioration, analyser des habitudes, comprendre des comportements... Voici quelques exemples de ce que peut permettre un questionnaire. Il s'agit d'un outil puissant... à condition qu'il soit bien construit !
Important : le temps de lecture de l’article complet est d’environ de 10 minutes. Toutefois, vous pourrez lire et appliquer les parties de l’article les unes après les autres : il s’agit en effet d’un guide en 4 étapes qui vous accompagnera tout au long de votre processus de construction.
Ce guide est basé sur une méthode scientifique rigoureuse mais est à portée de toute personne souhaitant construire un questionnaire pertinent, solide et exploitable (= No Bullshit !)
Vous pouvez télécharger la version fiche en PDF ici.
Un questionnaire est une technique de collecte de données quantifiables qui se présente sous la forme d’une série d’items<strong>1</strong> méthodiquement construits et formulés. Il va permettre d’étudier plusieurs aspects d’un problème. On l’utilise lorsqu’on cherche à avoir une certaine quantité représentative d’informations.
Grâce au guide que nous vous proposons dans cet article, vous pourrez :
Processus de construction
Étape 1. Structurer son questionnaire
Étape 2. Rédiger les items
Étape 3. Présenter et organiser les items
Étape 4. Administrer le questionnaire : les bonnes pratiques avant l’envoi
Il s’agit d’un outil permettant de collecter des informations grâce aux réponses / aux scores de vos participants faisant partie de votre cible.
Le questionnaire est, dans la plus grande majorité des cas, envoyé en ligne : le participant le complète en toute autonomie et ses réponses sont enregistrées automatiquement.
Le questionnaire est utilisable à tout moment : au début d’un cycle de conception, en exploration, en delivery pour tester des hypothèses, à la fin d’un projet...
Le questionnaire est un outil simple d’utilisation permettant de recueillir des informations en quantité notamment afin de comprendre (ex : des utilisateurs, des processus), de décrire (ex : des comportements, préférences, processus) et d’identifier des leviers d’actions.
Il est fortement recommandé de construire le questionnaire en équipe. Une co-construction durant chaque étape (formulation de l’objectif, identification des thématiques à aborder, rédaction des items) permettra en effet d’éviter les biais.
Pour la co-construction : le designer peut en prendre la responsabilité. Il est également important de se demander qui se chargera des analyses (spécialiste externe, UX interne... ?).
Pour les personnes qui compléteront votre questionnaire : les participants devront correspondre à votre cible.
Conseil : afin de minimiser les biais, il est préférable de mener les actions suivantes en équipe - ou au moins avec une autre personne.
En effet, un biais est une distorsion entre la façon dont nous devrions raisonner et la façon dont nous raisonnons réellement (cf. glossaire pour définition plus précise). Lorsqu’on fait de la recherche (ex : recherche utilisateur) - notamment lorsqu’on crée des outils (ex : questionnaire) - nos connaissances, notre expertise, le contexte qui nous entoure, notre état (ex : je suis fatiguée, je suis surmotivée) et tout un tas d’autres facteurs**,** sont susceptibles de venir entraver la validité de ce que l’on mesure et ainsi, des interprétations et conclusions que l’on fait. Adopter la démarche scientifique décrite dans cet article vous permettra de minimiser ces biais.
À quoi va servir notre questionnaire ? Pourquoi construisons-nous un questionnaire ?
Votre objectif doit être concret (ex : mesurer la maturité design d'une organisation, obtenir un indicateur de performance récurrent, évaluer le bien-être des employés).
Un objectif concret et clair va vous aider à identifier les thématiques visées. Vous pouvez vous documenter afin d’être guidé(e) et/ou de confirmer vos choix. Vos thématiques - et sous-thématiques si nécessaire - répondent notamment à la question : Quelles sont les informations dont j'ai besoin ?
Si je souhaite mesurer la satisfaction au travail des employés de mon entreprise afin d’identifier des leviers d’actions pour améliorer le fonctionnement de celle-ci :
L’idéal est de déterminer l’objectif, les thématiques / sous-thématiques de votre questionnaire avant de rédiger ensuite les items. Cela permet de limiter un certain nombre de biais a priori et, ainsi, de gagner du temps par la suite. On évite une certaine dispersion, autrement dit, de proposer des items non pertinents qui vont venir biaiser le reste du questionnaire.
Schéma 1. Pyramide des éléments à travailler lors de la construction d'un questionnaire. L'objectif est le socle de ce travail.
Toutefois, il est tout à fait possible d’être dans une démarche plus exploratoire : dans ce cas, on pourra commencer par une liste d’items qui nous intéressent, l’identification de ce que l’on souhaite mesurer puis mener un travail de suppression d’items non-pertinents et de (re)catégorisation à posteriori.
==> Dans ce guide, nous nous focaliserons sur la 1ère méthode - celle-ci étant plus rigoureuse et permettant un gain de temps significatif. Quel que soit l’ordre d’exécution (= méthode), l’essentiel est de bien passer par toutes les réflexions et étapes que nous vous présentons dans ce guide.
Avant tout : vous devez proposer des items nécessaires et utiles - autrement dit, uniquement des items qui vont servir l'objectif et répondre à la thématique ou sous-thématique - à laquelle ils appartiennent. Faites donc attention à ne pas surcharger vos thématiques d’items dont vous ne vous servirez pas ou qui ne seront pas réellement pertinents et représentatifs de ce que vous cherchez à mesurer.
Il existe 3 grands types d'items utilisables dans un questionnaire : les échelles de Likert4 (scores de 1 à 7 points), les items catégoriels et les questions ouvertes. Qu’est-ce que c’est ? et comment choisir ?
À cette étape de construction, vous devriez avoir votre objectif, vos thématiques et une liste d’items pertinents et nécessaires par thématique. Il est désormais important de se questionner sur la façon dont vous allez présenter et organiser ces items.
Si mon questionnaire comporte 40 échelles à remplir par exemple, je peux couper tous les 10 items par une question ouverte. Cela évite de fatiguer mon participant ou de le pousser à répondre par automatisme (i.e., qu'il ne lise plus vraiment mes items). Cette méthode permet de redynamiser la complétion du questionnaire.
Si mes objectifs s'y prêtent, j'essaye de varier entre questions en oui/non, échelles de Likert (ex : de 1 pas du tout d'accord à 7 tout à fait d'accord), questions ouvertes, questions à choix multiples...
On cherche à diversifier pour stimuler le répondant MAIS homogénéiser pour faciliter la complétion. Autrement dit, on vise la cohérence.
Par exemple : sur mes 40 échelles de Likert - même si celles-ci sont coupées tous les 10 items par une question ouverte - j'essaye de les structurer de sorte que la légende reste la même tout au long du questionnaire. Mes scores "1" signifieront toujours "pas du tout d'accord" et mes scores "7" signifieront toujours "tout à fait d'accord”.
Lorsque le questionnaire est construit, une bonne pratique est de rendre aléatoire, dès que possible, l’ordre de présentation des thématiques mais également des items au sein d’une thématique. On supprime ainsi tout biais de fatigabilité7, d’ennui ou d’apprentissage.
Par exemple, si votre questionnaire contient 6 thématiques avec chacune 4 items (=24 items), il se peut qu’on observe moins de motivation ou de concentration venant du participant sur la dernière thématique. Les résultats seraient ainsi biaisés. En rendant aléatoire la présentation des thématiques, certains participants verront la thématique dès le début du questionnaire, d’autres au milieu et d’autres à la fin. On supprime alors le biais de fatigabilité.
Dans l'exemple de droite, nous avons formulé de façon à ce que les items s’articulent le plus facilement et correctement possible : nous avons proposé une seule et même structure de phrase pour chaque item à traiter.
Nous avons fait attention à homogénéiser les légendes afin de minimiser la charge cognitive6 sollicitée. Toutes les échelles de 1 à 7 correspondent à la même évaluation, à savoir, le niveau d'accord ou de désaccord.
Nous avons fait attention à choisir correctement nos mesures en fonction de nos objectifs (voir section suivante) : dans l'exemple de gauche, le dernier item correspond à une mesure objective : il aurait donc fallu proposer un format de réponse en oui/non. Dans l'exemple de droite, nous souhaitions évaluer le ressenti des participants (= mesure subjective) : nous avons donc gardé le format de réponse sous forme d'échelle de Likert mais nous avons reformulé l'item ('je pense qu'il a beaucoup plu cette année') afin qu'il corresponde réellement à notre objectif.
S’assurer que le questionnaire a été validé en équipe, ou au moins par une autre personne plus ou moins impliquée dans le processus.
S’assurer que le questionnaire a été prétesté auprès de quelques participants naïfs5 (ex : collègues) : est-il compris ? Y a-t-il des points bloquants ou gênants ? etc.
Si le questionnaire doit être rempli sur la base du volontariat, rédiger un court texte de consentement éclairé (anonymat, utilisation des données...) pour chaque participant. S'il accepte, il accède au questionnaire ; s'il refuse, il ne remplit pas le questionnaire.
Avant ou dans le texte de consentement, informer le participant des objectifs du questionnaire et de sa forme.
Par exemple : “Ce questionnaire vise à mesurer le bien-être des employés au travail. Il sera composé d’une série d’items divisés en thématiques. Pour chaque affirmation, vous devrez dire à quel point vous êtes d’accord ou non avec celle-ci. Il n’y a ni bonne ni mauvaise réponse, vous êtes libre de répondre ce que vous souhaitez”.
De plus, dans certains cas, certaines thématiques devant être abordées peuvent être considérées comme “sensibles” (ex : santé, expériences vécues, questions personnelles sur certaines habitudes ou problématiques). Dans ce cas, il en est de votre responsabilité de prévenir le participant en amont, de lui annoncer avant qu’il se soit engagé dans le complétion du questionnaire, de quoi celui-ci retourne. Ainsi, en toute connaissance de cause, votre participant acceptera ou non de compléter votre questionnaire.
À la fin du questionnaire, n’oubliez pas d’ajouter un petit mot de remerciement envers le participant à la fois pour son implication et son temps.
À quel point le questionnaire doit-il être anonyme ?
Ne demandez que les informations (ex : profession, âge, genre) nécessaires pour répondre à vos objectifs et problématiques.
Ainsi, évitez de récolter des données pouvant être directement reliées à une personne physique (ex : prénom, mail).
Toutefois, si le participant veut obtenir ou visualiser ses résultats par exemple, on peut lui proposer de manière facultative, à la fin du questionnaire, de renseigner son mail. On lui expliquera alors que cette donnée ne sera pas conservée, qu’elle sera uniquement utilisée à des fins de partage de résultats.
Quel mode d’administration ?
Vous pouvez administrer votre questionnaire de différentes façons.
- Lors d’un entretien : face à face, seul ou en groupe
- Sur ordinateur : sur place ou via internet
- Par courrier ou téléphone
Comment choisir ?
Le choix est libre mais on va chercher à limiter au maximum les interactions sociales notamment afin d’éviter le biais de désirabilité sociale (i.e., la tendance des individus à répondre pour faire plaisir ou pour se donner une image la plus appréciable possible).
Conseil si vous choisissez de l’administrer en entretien (version papier ou numérique) : laissez votre participant seul dans une pièce lors de la complétion. Si plusieurs personnes sont présentes, séparez-les afin que chacun ait son espace.
Comment recruter ?
Lors du processus de préparation, vous avez répondu à la question “À qui dois-je m’adresser ?”. Vous avez donc identifié votre cible principale. Lors de l’envoi du questionnaire, 2 stratégies sont possibles :
Stratégie 1 - l’envoyer de manière contrôlée aux personnes respectant vos critères cibles (ex : individus de moins de 25 ans, uniquement les individus vivant en ville...)
Stratégie 2 - l’envoyer en masse puis contrôler/sélectionner par la suite.
Quelle que soit votre stratégie, nous vous conseillons vivement d’inclure quelques items en début de questionnaire qui vous permettront de caractériser vos participants à partir d’éléments relatifs à votre cible. Ces items ne répondent pas directement à vos objectifs de recherche mais permettent de contrôler (stratégie 1) ou vérifier (stratégie 2) que vos participants appartiennent bien à cette cible visée (les données des participants qui n’y appartiennent pas peuvent être supprimées).
Concernant la quantité d’individus à viser, nous n’avons pas de seuil exact. Ce nombre dépendra de vos objectifs, du nombre de paramètres auxquels vous vous intéressez et du type d'analyse que vous mènerez.
Nous vous invitons à nous contacter si vous avez des interrogations sur ce point ou tout autre question concernant les étapes du processus de construction de questionnaire.
Une fois les données récoltées, il est temps de les analyser afin de pouvoir les interpréter. Vous pourrez bientôt découvrir notre fiche méthodologique concernant la démarche d’analyse et ses bonnes pratiques.
Enoncé d’une question ou éléments utilisés dans le questionnaire. On utilise le terme général “item” car tous les éléments d’un questionnaire ne sont pas forcément des questions. Par exemple, si je m’intéresse au bien-être au travail, je pourrai proposer une série d’affirmations comme : “Je pense que nous communiquons suffisamment au sein de mon entreprise” ; “Je trouve que mon entreprise me permet d’apprendre de nouvelles choses et d’évoluer” etc. Pour chacune de ces affirmations (et non “interrogations”), le participants devra donner son degré d’accord ou de désaccord en entourant un score allant de 1 à 7 points.
Il s’agit de la personne qui complètera votre questionnaire. On peut également parler de “répondant” mais dans ce guide - comme en recherche - nous parlerons de “participant”.
Déviation dans le traitement cognitif d'une information, schéma de pensée trompeur et faussement logique. Un biais renvoie aux distorsions entre la façon dont nous devrions raisonner pour assurer le mieux possible la validité de nos conclusions et la façon dont nous raisonnons réellement. La plupart du temps, un biais résulte de l’application d’une heuristique : il s’agit d’un raccourci mental qui permet de prendre des décisions, de résoudre un problème ou de porter un jugement rapidement. Notre cerveau va solliciter en priorité un mode de pensée “automatique” au détriment d’un mode “rationnel, contrôlé”. Il s’agit d’un processus très efficace la plupart du temps mais faillible. En s’appuyant par exemple sur nos émotions ou nos préjugés, notre cerveau va faire des raccourcis notamment lorsqu’il nous faut gérer une quantité importante d’informations ou que le temps est limité. Les biais cognitifs qui en découlent rendent difficiles l’interprétation et la confiance que l’on peut accorder aux résultats des questionnaires, tests ou entretiens.
Il s’agit des échelles de scores sur lesquelles vos participants doivent se positionner. Les échelles en 7 points sont les plus pertinentes à utiliser - elles permettent de limiter certains biais et notamment la variabilité inter-individuelle (ex : on va chercher à ce que notre échelle signifie la même chose pour tous nos participants, toutefois, plus il y a de points, plus la perception de cette échelle peut différer d’un individu à l’autre).
En recherche, on parle de “sujets naïfs” pour parler d’un individu qui ne sait pas qu’il est inséré dans un dispositif de recherche ou que son comportement est observé. Ici, on va parler de participants naïfs pour les personnes à qui nous demandons des feedbacks ou une relecture de notre questionnaire sans qu’ils aient été au préalable impliqués d’une quelconque façon dans le processus de construction.
Elle correspond à la quantité de ressources cognitives investies par un individu lors de la réalisation d’une tâche. Elle dépend de la complexité de la tâche (le nombre d’éléments à traiter et à mettre en relation), des ressources de l’individu (ses connaissances à propos de cette tâche) et de la manière dont la tâche est présentée. Notre objectif sera d’éviter la surcharge cognitive.
Le fait qu’un individu soit fatigable peut engendrer un biais. En effet, la fatigue - qu’elle soit physique ou psychologique - va diminuer l’efficience attentionnelle et favoriser l’apparition d’erreurs ou d’omissions dans l’exécution d’une tâche (ici, dans la complétion de votre questionnaire).
- Bernaud, J.L. (2014). Méthodes de tests et questionnaires en psychologie. Paris, Dunod.
- Grimm, P. (2010). Social desirability bias. Wiley international encyclopedia of marketing.