Passeport d’expérimentation
- Hypothèse
- Ce que l’on change, pour quelle population, et l’effet attendu sur quelle variable du modèle de croissance.
- Variable observée
- Une seule métrique de décision, choisie avant le lancement ; les autres sont des garde-fous.
- Population
- Segment concerné, volume disponible sur la période, règle d’affectation entre variantes.
- Durée
- Fixée à l’avance, incluant les cycles hebdomadaires complets. Aucun arrêt anticipé sur un écart favorable.
- Écart minimal utile
- L’amplitude en dessous de laquelle le résultat ne justifierait aucune décision, même s’il apparaît positif.
- Critère d’arrêt
- Condition écrite déclenchant l’interruption : anomalie de mesure, dégradation d’un garde-fou, incident technique.
- Lecture
- Concluant, non concluant, ou non lisible faute de volume. Les trois sont des résultats exploitables.
- Effet observé
- Écart mesuré sur la variable de décision, avec sa marge d’incertitude et l’état des garde-fous.
- Ce que le test n’a pas prouvé
- Limite explicite : population non couverte, saison, canal ou durée hors du périmètre testé.
Décisions prises selon les résultats
- Adopter et standardiser
- Rejouer avec plus de volume
- Abandonner l’hypothèse
- Reformuler et retester
Un test non concluant élimine une hypothèse et évite d’y réinvestir : c’est un résultat, pas un échec. Le journal conserve les deux.