INTRODUCTION
Pour améliorer l’expérience utilisateur (UX) il est absolument fondamentale de faire de la recherche UX (UXR). En effet, c’est à ce moment-là que l’on va à la rencontre des utilisateurs cibles. Il s’agit donc du cœur du métier d’UX designer / researcher car la UXR permet :
De définir les caractéristiques des utilisateurs cibles ainsi que leurs besoins et leurs attentes,
D’étudier le contexte dans lequel le produit ou service sera utilisé
D’analyser le vécu des utilisateurs avec le produit ou service.
A noter que lorsque je parle de vécu, je fais référence à l’expérience des utilisateurs avant, pendant et après leur interaction avec la solution. A première vue, les données que l’on souhaite recueillir semblent purement empiriques. C’est la raison pour laquelle beaucoup de professionnels de l’UX mettent en place une UXR majoritairement (voire exclusivement) qualitative. Ce penchant tout particulier pour la démarche empirique peut s’expliquer par le fait qu’elle permet d’obtenir une description subjective assez précise des expériences vécues par les personnes. En ce sens, les méthodes qualitatives sont d’excellents outils pour répondre à des questions de type « pourquoi … ? » et « comment … ? ».
Cependant, les méthodes qualitatives ont des limites. Notamment, elles requièrent généralement un échantillon de participants assez faible. De plus, il est question de données subjectives. De ce fait, on leur reproche d’obtenir des résultats qui manquent de validité scientifique et de représentativité.
La démarche quantitative, quant à elle, permet de faire une description chiffrée d’un phénomène ou d’un comportement. Plus précisément, cette approche offre la possibilité d’analyser la fréquence d’apparition d’un événement et d’obtenir des connaissances quant aux relations de cause à effet entre des variables.
Par ailleurs, analyser l’expérience des utilisateurs est particulièrement complexe. En effet, il s’agit de s’intéresser à une pléthore de déterminants qui se jouent lors du vécu d’une expérience. Il est notamment question de facteurs psychologiques (cognition, émotion, comportements, etc.) mais aussi contextuels.
En ce sens, ne faire appel qu’à l’une ou l’autre approche ne semble pas être suffisant pour étudier de manière satisfaisante la complexe question de l’expérience vécue par les utilisateurs. C’est la raison pour laquelle il est plus pertinent de combiner les 2 méthodes (on parle alors d’adopter une approche méthodologique mixte) (Schweizer, 2020).
En effet, Erika Hall explique que “the best way to assess a functional design is through a combination of quantitative and qualitative methods. The numbers will tell you what’s going on, and the individual people will help you understand why it’s happening.” (Hall, 2013, p. 41). Les 2 approches se complètent et s’alimentent l’une et l’autre : cela permet d’outrepasser leurs propres limites et d’obtenir des résultats qui vont au-delà de ce qui aurait pu être trouvé par l’usage seul de l’une des 2 méthodes (Schweizer, 2020).
Si j’ai décidé de parler de l’approche quantitative c’est parce qu’il semble qu’elle ne soit pas souvent utilisée lors des UXR. Les raisons sont multiples. Certainement que des professionnels les sous-estiment, pensant justement que les données qualitatives sont plus utiles et riches d’enseignements. Il est aussi possible que d’autres trouvent les méthodes qualitatives plus faciles à traiter par rapport aux méthodes quantitatives qui supposent une analyse statistique des résultats.
Cet article, qui se divise en 2 parties, a pour ambition de proposer une vision globale de ce que suppose la mise en place d’une démarche quantitative tout en démontrant son intérêt dans la UXR. Ainsi, je présenterai dans un premier temps quelques méthodes quantitatives et la démarche expérimentale. En effet, cette dernière est primordiale pour obtenir des données qui ont du sens et pour savoir comment les traiter par la suite avec les statistiques. Dans un second temps, je parlerai du traitement statistique descriptif puis prédictif et de la façon d’interpréter les résultats.
A noter que cet article ne se suffit pas à lui-même pour maitriser les méthodes présentées, la démarche expérimentale ainsi que les analyses statistiques. Si vous souhaitez acquérir une expertise dans la mise en place et le traitement des données quantitatives, je vous recommande vivement de consulter les ressources bibliographiques qui m'ont servi à écrire cet article.
LES MÉTHODES QUANTITATIVES
Comme expliqué précédemment, réaliser une recherche dite quantitative signifie de travailler avec des données chiffrées. On peut obtenir ces données de 2 façons :
Par l’observation des comportements des utilisateurs. Dans ce cas, les données sont de nature numérique. Ainsi, Erika Hall explique qu’à partir du moment où la solution fonctionne et que les utilisateurs arrivent en nombre suffisant, il est possible de recueillir et traiter ces données (Hall, 2013). Pour ma part, je dirais même que l’on peut commencer à recueillir ces données bien avant, comme par exemple en phase de conception avec les wireframes.
Par quantification des données qualitatives, à savoir, « faire exister sous forme numérique ce qui, auparavant, était exprimé seulement par des mots et non par des nombres », (Bugeja-Bloch & Couto, 2015).
Dans cette partie je propose de présenter quelques méthodes quantitatives.
Analytics
Les Analytics sont l’ensemble des données récoltées de l’analyse des interactions des utilisateurs d’un site web ou d’une application mobile. Les données sont stockées dans des cookies sur chaque PC et sont anonymes. Les Analytics permettent de visualiser le parcours des utilisateurs et recueillir des informations concernant (Hall, 2013) :
Le nombre total de visites
Le nombre total de pages visitées
Le nombre moyen de pages consultées par visite
Le taux de rebond (à savoir, le pourcentage de visiteurs qui quittent le site après avoir vu une page)
Le temps moyen passé sur le site
Le pourcentage de nouveaux visiteurs
Ce faisant, ces données sont utiles pour vérifier les performances, valider une hypothèse de recherche UX, tester un design, avoir plus d’infos sur les caractéristiques des usagers du site, etc. Il est aussi possible de s’y référer pour définir des KPIs (Key Performance Indicators). Par ailleurs, cela offre la possibilité d’obtenir un corpus de données important et donc d’avoir des résultats représentatifs de la population.
Test A/B et test multivarié
Le test A/B et le test multivarié sont une autre manière de faire usage des Analytics.
L’objectif de ces tests est d’évaluer différents designs d’interface utilisateur pour déterminer lequel propose les meilleurs résultats du point de vue des Analytics. L’idée est donc de faire varier les boutons, le texte, les couleurs, les formes, les images, etc.
La différence entre les 2 tests est que lors d’un test A /B, un seul changement va être effectué dans une interface tandis que pour le test multivarié, plusieurs éléments de design vont être modifiés (Moran, 2018).
Questionnaire à questions fermées
Les questionnaires à questions fermées sont des questionnaires dont les réponses sont déjà écrites. Ils permettent de mesurer un concept abstrait (Moscarola, 2018) comme la satisfaction (ex : questionnaire SUS) ou l’acceptabilité (ex : questionnaire UTAUT). En ce sens, ils évaluent la qualité de la solution que l’on propose.
Pour celles et ceux qui souhaitent construire leur propre questionnaire, il faut savoir que cela implique d’avoir une connaissance approfondie à la fois :
De son objet d’étude pour pouvoir définir les construits théoriques du questionnaire et les questions qui en découlent
De sa population cible car « un questionnaire est censé s’adapter au langage, aux représentations, aux modes de pensées des interviewés » (Bugeja-Bloch & Couto, 2015).
Eye tracking
L’eye tracking ou oculométrie fait partie des méthodes qui permettent de recueillir des données physiologiques. Ici, il est question de relever et d’analyser le parcours visuel des utilisateurs. L’eye tracking offre la possibilité d’obtenir des informations sur la visibilité et l’identification des éléments de l’interface, sur la qualité de l’architecture de l’information, etc. (Lallemand & Gronier, 2016). Analyser la stratégie exploratoire des utilisateurs permet d’examiner leur expérience sans qu’ils n’aient besoin d’exprimer verbalement leurs pensées et leurs comportements.
Par ailleurs, de plus en plus d’entreprises commencent à s’équiper de dispositifs d’eye tracking. En effet, il existe différents types de dispositifs et leur coût tend à régresser (Lallemand & Gronier 2016). De plus, de nouveaux systèmes d’eye tracking commencent à voir le jour sur mobile (Nunnally & Farkas, 2016).
Tri de cartes
Comme Lallemand et Gronier l’expliquent très bien, la méthode du tri de carte permet de « concevoir une architecture de l’information qui corresponde au modèle mental des utilisateurs » (Lallemand & Gronier, 2016). Le tri de carte consiste à fournir des cartes aux participants représentant différents contenus d’un système. Les participants doivent les regrouper de sorte à obtenir des catégories qui font sens pour eux. L’idée est de rassembler les résultats de tous les participants pour relever si des catégories reviennent ainsi que savoir ce que les catégories comprennent et donc représentent. Ce faisant, faire un tri de carte est l’occasion de recueillir des données à la fois quantitatives et qualitatives (Nunnally & Farkas, 2016).
Test d’utilisabilité
Selon la norme ISO 9241-11, l’utilisabilité est définie comme étant « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié ». Réaliser un test d’utilisabilité signifie ainsi de tester au moins ces 3 composants. Le but est de trouver le plus de problèmes possibles et proposer des recommandations pour y remédier. Pour ce faire, on aurait donc tendance à vouloir recueillir des données qualitatives. Cependant, il est tout à fait pertinent de mesurer l’utilisabilité au moyen de données quantitatives (Sauro, 2016). En effet, pour évaluer l’efficacité, l’efficience et la satisfaction, on peut relever le temps de réalisation d’une tâche, le taux de succès et d’échecs, le nombre d’erreurs le nombre de cliques ou encore le score à un questionnaire de satisfaction.
LA DÉMARCHE EXPÉRIMENTALE
L’expérimentation est une démarche scientifique ayant pour but de proposer des explications sur le fonctionnement – ici – humain (Rey, 2012). Elle consiste à manipuler des caractéristiques (variables) d’un environnement et d’en étudier les effets. Il s’agit de mettre en place une procédure rigoureusement contrôlées afin de tester la validité d’hypothèses de travail préalablement posées (Chanquoy, 2005). Elle permet ainsi de recueillir des données qui ont du sens, qui sont comparables et qui vont pouvoir être soumises à des analyses statistiques poussées. En ce sens, l’approche quantitative s’inscrit pleinement dans la démarche expérimentale.
Échantillon de la population
Les expérimentations sont conduites sur un ensemble restreint d’individus, que l’on appelle un échantillon. Ce dernier doit être représentatif de la population étudiée. Pour cela, on recourt à 2 grand types de méthodes d’échantillonnage (Chanquoy, 2005) :
L’échantillonnage probabiliste qui consiste à faire un tirage au sort des individus,
L’échantillonnage non-probabiliste par quotas qui consiste à déterminer les spécificités de la population étudiée et de retrouver les mêmes proportions de ces spécificités dans l’échantillon (ex : si la population étudier contient 20% de femmes, notre échantillon devra en inclure autant).
En ce sens, ne recruter par exemple que des personnes de son quartier ne permet pas de construire un échantillon représentatif de la population (Chanquoy, 2005).
Variables dépendantes et indépendantes
Comme expliqué précédemment, l’expérimentation vise à faire varier certaines propriétés d’un environnement et d’analyser les effets de cette variation sur un comportement. Ainsi, il s’agit d’évaluer s’il existe une relation causale entre des variables indépendantes (VI) et des variables dépendantes (VD).
Une VI correspond à ce que l’on fait varier/manipule dans l’environnement grâce à ses différentes modalités. Elle est indépendante du sujet et c’est son effet sur la VD que l’on souhaite analyser.
Quelques exemples de VI et leurs modalités :
VI « Expertise » dont les modalités peuvent être : Junior vs. Middle vs. Senior
VI « Fréquence d’utilisation » dont les modalités peuvent être : Tous les jours vs. 1 fois par mois vs. Jamais
VI « Couleur » dont les modalités peuvent être : Rouge vs. Bleue
VI « Lieu d’utilisation » dont les modalités peuvent être : Salon vs. Chambre vs. Cuisine
Une VD correspond au comportement qui est censé varier suite aux différentes manipulations. Elle est donc dépendante du sujet car la réponse comportementale est donnée par l’individu.
Quelques exemples de VD :
VD « Efficacité » pouvant être déterminée par : les taux de réussite, d’échec ou d’erreur bloquante
VD « Efficience » pouvant être déterminée par : le temps de réalisation, les taux de manipulation superflue et d’erreur corrigée
VD « Satisfaction » pouvant être déterminée par : le score au test SUS
La formulation d’hypothèses
Les hypothèses sont généralement formulées à la suite d’une série d’observations ou d’une revue de la littérature (Fraisse, 1967, cité par Chanquoy, 2005). Le premier type d’hypothèse que l’on élabore est une hypothèse générale.
L’hypothèse générale explique l’effet attendu de manière générale et superficielle (Rey, 2012).
Exemple : « La couleur a une influence sur l’expérience des utilisateurs. »
Par ailleurs, Arnaud Rey précise que « la force de la démarche expérimentale réside dans la possibilité de répliquer à tout moment des phénomènes observés antérieurement ». Ainsi, il faut élaborer des hypothèses qui soient testables et vérifiables. Il est donc question d’opérationnaliser l’hypothèse générale.
L’hypothèse opérationnelle spécifie explicitement les comportements attendus selon chaque variation de l’environnement. Ainsi, il va donc falloir préciser comment va se comporter la VD en fonction de chaque modalité de la VI (Chanquoy, 2005).
Exemple : « Le taux de réussite sera significativement plus bas lorsque la couleur est rouge par rapport la couleur bleue. »
Les hypothèses statistiques découlent des hypothèses opérationnelles. On va formuler 2 hypothèses :
L’hypothèse alternative (H1) qui affirme que ce que l’on va faire varier va effectivement produire une différence comportementale entre les groupes, et donc entre les modalités de la VI.
L’hypothèse nulle (H0) qui spécifie que cette différence est nulle, qu’il n’y a aucun effet.
Comme l’explique Lucille Chanquoy, « la démarche statistique consiste à privilégier l’une de ces deux hypothèses au détriment de l’autre : c’est en effet l’hypothèse nulle qui sera acceptée ou refusée ». En d’autres termes, ce n’est pas l’hypothèse alternative qui est testée, mais l’hypothèse nulle. Ainsi, lorsqu’une hypothèse est validée, cela signifie qu’elle n’est pas rejetée (Chanquoy, 2005).
Les groupes expérimentaux
Pour évaluer l’effet d’une VI sur une VD, on peut constituer différents groupes de participants.
Le groupe apparié renvoie au fait que tous les participants vont passer toutes les conditions expérimentales et donc, vont être confrontés à toutes les modalités de la VI. Dans ce cas, on dit que la VI est intra-sujet. Les analyses vont alors consister à comparer les mêmes sujets entre eux.
Le groupe indépendant correspond au fait que les participants ne vont être confrontés qu’à une condition expérimentale. Dans ce cas, la VI est dite inter-sujet. En d’autres termes, si l’on souhaite tester la VI « couleur » qui a 2 modalités (Rouge vs. Bleue), nous allons diviser notre échantillon en 2 groupes. Un groupe va être confronté uniquement à la couleur rouge et l’autre va être confronté uniquement à la couleur bleue.
Le groupe contrôle est un groupe qui ne rencontrera pas la VI. Les résultats sont donc censées représenter le comportement de la VD sans l’influence de la VI. Ainsi, l’analyse consistera à comparer les résultats de ce qu’il se passe en l’absence de la VI avec les résultats obtenus lors de sa présence.
Les échelles de mesure
Pour finir, il est nécessaire de connaitre les différentes échelles de mesure des variables car cela va déterminer la manière dont les résultats vont être analysés par la suite.
Les variables qualitatives
Les échelles nominales sont catégorielles. Elles se présentent sous la forme d’une liste d‘éléments qui n’ont pas de relation entre eux. Ce sont des étiquettes permettant d’identifier les personnes ou les objets. Ainsi, il ne s’agit pas de valeur numérique.
Exemples : Sexe | Catégorie socio-professionnelle | « Oui – Non – Peut-être »
Les échelles ordinales ont les mêmes propriétés que les échelles nominales. Toutefois, il est possible ici de hiérarchiser les éléments et d’établir un ordre.
Exemples : Classement scolaire | Échelle d’opinion (pas du tout – tout à fait) | Grade dans l’armée
Les variables quantitatives
Les échelles d’intervalles contiennent des intervalles mesurables entre les modalités. Ici le nombre n’est pas simplement une catégorie, il est une modalité de la variable. Le 0 est arbitraire et ne signifie pas l’absence totale du phénomène (ex : 0°C).
Exemples : Température | QI | Note scolaire
Les échelles de rapport sont un cas particulier d’échelles d’intervalles où le zéro existe et signifie l’absence de mesure (ex : perdre 0kg).
Exemples : Taille | Poids |Vitesse | Age | Nombre de fautes / mots rappelés / habitants
La 2ème partie de cet article traite de l’analyse statistique (descriptive et prédictive) et se trouve ICI.
Références bibliographiques
Aldeber, B., & Rouziès, A. (2011, juin). L'utilisation des méthodes mixtes dans le recherché francophone en stratégie : constats et pistes d'amélioration. XXème Conférence de l'Association Internationale de Management Stratégique, Nantes. https://halshs.archives-ouvertes.fr/halshs-00740158
Bugeja-Bloch, F., & Couto M-P. (2015). Les méthodes quantitatives. Paris : Presses Universitaires de France.
Chanquoy, L. (2005). Statistiques appliquées à la psychologie et aux sciences humaines te sociales. Paris : Hachette Éducation.
Hall, E. (2013). Just Enough Research. New York : A Book Apart
Lallemand, C., & Gronier, G. (2016). Méthodes de design UX : 30 méthodes fondamentales pour concevoir et évaluer les systèmes interactifs. Paris, France : Eyrolles
Moran, K. (2018). Quantitative User-Research Methodologies: An Overview. Norman Nielsen Group. Retrieved from : https://www.nngroup.com/articles/quantitative-user-research-methods/
Moscarola, J. (2018). Faire parler les données. Caen : Éditions EMS.
Nunnally, B., & Farkas, D. (2016). UX Research: Practical Techniques for Designing Better Products. Sebastopol : O’Reilly Media.
Rey, A. (2012). Psychologie cognitive expérimentale. Paris : Presses Universitaires de France,
Rohrer, C. (2014). When to Use Which User-Experience Research Methods. Norman Nielsen Group. Retrieved from : https://www.nngroup.com/articles/which-ux-research-methods/
Schweizer, A. (2020). Les méthodes mixtes en psychologie : De la théorie à la pratique. Malakoff : Dunod.
Comments