Cette année, le score global passe de 56 à 69.
Treize points de plus.
La direction respire. Les actions semblent fonctionner. Le climat paraît nettement meilleur.
Pourtant, dans chacune des deux grandes équipes, le score a diminué.
Ce résultat semble impossible. Il est pourtant parfaitement compatible avec les mathématiques.
Bienvenue dans le paradoxe de Simpson.
Une amélioration qui n’en est pas une
Prenons un exemple volontairement simple.
L’organisation compte deux équipes. L’équipe A obtient généralement des scores plus élevés que l’équipe B. Entre les deux sondages, la proportion de réponses provenant de chaque équipe change fortement.
| Équipe | Score — année 1 | Réponses — année 1 | Score — année 2 | Réponses — année 2 |
|---|---|---|---|---|
| Équipe A | 80 | 20 | 75 | 80 |
| Équipe B | 50 | 80 | 45 | 20 |
| Résultat global | 56 | 100 | 69 | 100 |
Dans l’équipe A, le score baisse de 80 à 75.
Dans l’équipe B, il baisse de 50 à 45.
Pourtant, la moyenne globale monte de 56 à 69. Pourquoi? Parce que la deuxième année, une plus grande part des réponses vient de l’équipe qui obtient habituellement le score le plus élevé.
Le résultat global a surtout changé de composition.
Ce que le paradoxe de Simpson révèle
Le statisticien Edward H. Simpson a décrit en 1951 comment une relation observée dans des groupes pouvait disparaître ou s’inverser lorsque les données étaient réunies. Son article original portait sur des tableaux statistiques, pas sur l’engagement des employés.
Mais le piège s’applique très bien aux sondages RH.
Une moyenne organisationnelle combine des réalités différentes : métiers, établissements, horaires, ancienneté, statuts d’emploi ou équipes de gestion.
Lorsque le poids de ces groupes change entre deux collectes, la moyenne peut bouger même si l’expérience de chacun évolue dans l’autre direction.
Le paradoxe ne se produit pas à chaque sondage. Il montre plutôt pourquoi une moyenne seule ne suffit jamais à établir une tendance.
La participation fait partie du résultat
Les organisations suivent souvent le taux de participation global.
« Nous avons encore obtenu 60 %. »
Ce chiffre peut sembler rassurant. Mais les mêmes 60 % peuvent être répartis très différemment.
Une année, les employés de première ligne répondent davantage. L’année suivante, la participation augmente surtout chez les professionnels et les cadres. Le taux global reste stable, mais le portrait ne représente plus les mêmes personnes.
Il faut donc poser deux questions :
- combien de personnes ont répondu?
- de quels groupes viennent les réponses?
La seconde question change souvent l’interprétation de la première.
Segmenter sans exposer
La solution paraît simple : afficher tous les résultats par équipe.
Ce n’est pas toujours souhaitable.
Les petits groupes augmentent le risque que certaines réponses deviennent reconnaissables. Ils produisent aussi des résultats plus instables : quelques réponses peuvent déplacer fortement la moyenne.
Il faut donc trouver un équilibre.
On peut regrouper certaines unités, fixer des seuils d’affichage, suivre des catégories assez larges et signaler lorsque le niveau de prudence augmente. L’objectif est de repérer les écarts sans transformer le tableau de bord en outil d’identification.
La confidentialité n’empêche pas l’analyse. Elle impose de choisir le bon niveau de détail.
Ce que Kyogo cherche à montrer
Une plateforme de sondage RH devrait permettre de voir trois choses ensemble :
- la tendance globale;
- les réalités propres aux groupes;
- la composition de la participation.
Sans cette lecture, une hausse peut être célébrée trop vite. Une baisse peut aussi sembler inquiétante alors qu’elle reflète simplement une meilleure participation d’un groupe auparavant peu entendu.
Le rôle de l’analyse n’est pas de rendre chaque résultat suspect.
Il est de savoir quelle histoire le nombre peut réellement soutenir.
Une moyenne reste utile. Elle donne un repère commun. Mais elle ne devient fiable qu’une fois replacée parmi les groupes qui la composent.
La documentation sur le redressement en cas de non-réponse explique comment Kyogo tient compte de cette composition.
Questions fréquentes
Le paradoxe de Simpson signifie-t-il que les moyennes sont trompeuses?
Non. Une moyenne résume correctement les réponses qui la composent. Elle devient trompeuse lorsqu’on lui fait raconter l’expérience de tous les groupes sans vérifier leur évolution et leur poids respectif.
Quelles segmentations faut-il suivre?
Celles qui correspondent à des réalités de travail et peuvent mener à une décision : équipe, établissement, métier, horaire ou ancienneté, par exemple. Elles doivent aussi respecter les règles d’anonymat.
Peut-on comparer deux années si les répondants changent?
Oui, mais la comparaison doit tenir compte de la composition des réponses. Une variation est plus crédible lorsqu’elle apparaît aussi dans plusieurs groupes comparables et qu’elle ne dépend pas seulement d’un changement de participation.
L’illusion à retenir
Illusion no 3 : la moyenne représente tout le monde.
Une moyenne organisationnelle raconte l’ensemble des réponses. Elle ne garantit pas que chaque équipe avance dans la même direction.
